JP7054780B2 - Transmission method, reception method, transmission device and reception device - Google Patents
Transmission method, reception method, transmission device and reception device Download PDFInfo
- Publication number
- JP7054780B2 JP7054780B2 JP2021052236A JP2021052236A JP7054780B2 JP 7054780 B2 JP7054780 B2 JP 7054780B2 JP 2021052236 A JP2021052236 A JP 2021052236A JP 2021052236 A JP2021052236 A JP 2021052236A JP 7054780 B2 JP7054780 B2 JP 7054780B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- data
- transmission
- unit
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 590
- 238000000034 method Methods 0.000 title claims description 349
- 239000000872 buffer Substances 0.000 claims description 228
- 238000000605 extraction Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 description 271
- 238000010586 diagram Methods 0.000 description 119
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 description 94
- 238000012545 processing Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 58
- 229920003208 poly(ethylene sulfide) Polymers 0.000 description 34
- 229920006393 polyether sulfone Polymers 0.000 description 34
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 23
- 238000013467 fragmentation Methods 0.000 description 21
- 238000006062 fragmentation reaction Methods 0.000 description 21
- 238000001914 filtration Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000001360 synchronised effect Effects 0.000 description 13
- 238000005538 encapsulation Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 230000003139 buffering effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 239000013589 supplement Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 101100070543 Hevea brasiliensis HEV1 gene Proteins 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 108700032487 GAP-43-3 Proteins 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 101710095156 E3 ubiquitin-protein ligase RBX1 Proteins 0.000 description 1
- 102100023877 E3 ubiquitin-protein ligase RBX1 Human genes 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 101710178916 RING-box protein 1 Proteins 0.000 description 1
- 229920004880 RTP PEK Polymers 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、送信方法、受信方法、送信装置及び受信装置に関する。 The present invention relates to a transmission method, a reception method, a transmission device, and a reception device.
放送及び通信サービスの高度化に伴い、8K(7680×4320ピクセル:以下では8K4Kとも呼ぶ)及び4K(3840×2160ピクセル:以下では4K2Kとも呼ぶ)などの超高精細な動画像コンテンツの導入が検討されている。受信装置は、受信した超高精細な動画像の符号化データを実時間で復号して表示する必要があるが、特に8Kなどの解像度の動画像は復号時の処理負荷が大きく、このような動画像を1つの復号器で、実時間で復号することは困難である。従って、複数の復号器を用いて復号処理を並列化することで、1つの復号器あたりの処理負荷を低減し、実時間処理を達成する方法が検討されている。 With the sophistication of broadcasting and communication services, the introduction of ultra-high-definition video content such as 8K (7680 x 4320 pixels: also referred to as 8K4K below) and 4K (3840 x 2160 pixels: also referred to as 4K2K below) is being considered. Has been done. The receiving device needs to decode and display the coded data of the received ultra-high-definition moving image in real time, but especially the moving image with a resolution of 8K or the like has a large processing load at the time of decoding. It is difficult to decode a moving image with one decoder in real time. Therefore, a method of reducing the processing load per decoder and achieving real-time processing by parallelizing the decoding processes using a plurality of decoders is being studied.
また、符号化データはMPEG-2 TS(Transport Stream)又はMMT(MPEG Media Transport)などの多重化方式に基づいて多重化されたうえで送信される。例えば、非特許文献1には、MMTに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。
Further, the encoded data is multiplexed and transmitted based on a multiplexing method such as MPEG-2 TS (Transport Stream) or MMT (MPEG Media Transport). For example, Non-Patent
ところで、放送や通信サービスの高度化に伴い、8Kや4K(3840x2160ピクセル)などの超高精細な動画コンテンツの導入が検討されている。MMT(MPEG Media Transport)や、MPEG-DASHなどの多重化方式では、映像や音声、ファイルなどのメディアデータは、ISOBMFF(ISO based media file format)(MP4形式)のファイルに多重化し、MMTパケット化後に、放送伝送路や通信伝送路を用いて伝送される。 By the way, with the advancement of broadcasting and communication services, the introduction of ultra-high-definition video contents such as 8K and 4K (3840 x 2160 pixels) is being considered. In multiplexing methods such as MMT (MPEG Media Transmission) and MPEG-DASH, media data such as video, audio, and files are multiplexed into ISOBMFF (ISO based media file format) (MP4 format) files and converted into MMT packets. Later, it is transmitted using a broadcast transmission line or a communication transmission line.
しかしながら、MMTの伝送では、受信装置のバッファ動作を保証できない可能性がある。 However, in MMT transmission, it may not be possible to guarantee the buffer operation of the receiving device.
本発明は、MMTのような方式を用いてデータ伝送する場合に、受信装置のバッファ動作を保証できる送信方法などを提供する。 The present invention provides a transmission method that can guarantee the buffer operation of the receiving device when data is transmitted using a method such as MMT.
上記目的を達成するために、本発明の一態様に係る送信方法は、複数の伝送パケットを送信する送信方法であって、前記伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成され、送信される前記複数の伝送パケットを受信する受信バッファモデルは、前記伝送パケットを受信し、受信した前記伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファを含み、所定のパケット数以下の前記複数の伝送パケットを所定のデータ単位に格納し、互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において前記所定のデータ単位を送信することで、前記単位時間あたりに前記所定のパケット数以下の前記複数の伝送パケットを送信し、前記複数の伝送パケットは、無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、前記格納では、前記第1伝送パケットを前記所定のデータ単位に格納する場合、前記第1伝送パケットの数を第1パケット数としてカウントし、前記第2伝送パケットを前記所定のデータ単位に格納する場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値を第2パケット数としてカウントし、カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記複数の伝送パケットを前記所定のデータ単位に格納し、前記無効なパケットは、NULLパケットである。 In order to achieve the above object, the transmission method according to one aspect of the present invention is a transmission method for transmitting a plurality of transmission packets, and the transmission packet is composed of a variable length packet header and a variable length payload. The receive buffer model that receives the plurality of transmitted packets to be transmitted receives the transmitted packet, and is composed of a variable-length packet header and a variable-length payload stored in the received transmission packet. A packet is converted into a second packet having a fixed-length packet header decompressed by the header, and the second packet obtained by the conversion includes a buffer that outputs the second packet at a predetermined extraction rate, and the number of packets is less than or equal to a predetermined number. The plurality of transmission packets are stored in a predetermined data unit, and the predetermined data unit is transmitted in the unit transmission period for each of a plurality of consecutive unit transmission periods within a unit time period that does not overlap with each other. Then, the plurality of transmission packets having a predetermined number or less per unit time are transmitted, and the plurality of transmission packets include a first transmission packet containing an actual packet different from an invalid packet and the said. Including the second transmission packet containing an invalid packet, in the storage, when the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets. Then, when the second transmission packet is stored in the predetermined data unit, 1 is added to the quotient obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet. The plurality of transmitted packets are counted so that the sum of the number of first packets and the number of second packets obtained by counting the added integer values as the number of second packets is equal to or less than the predetermined number of packets. The invalid packet stored in a predetermined data unit is a FULL packet.
また、本発明の一態様に係る受信方法は、バッファを有する受信装置における受信方法であって、それぞれが可変長のパケットヘッダおよび可変長のペイロードで構成される複数の伝送パケットを受信し、受信された前記複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに前記バッファを用いて変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで前記バッファから出力し、前記バッファのバッファサイズは、前記複数の伝送パケットの伝送レート、前記伝送パケットの平均パケット長、及び前記引き抜きレートを用いて求められる最大バッファ占有量よりも大きく、前記複数の伝送パケットは、互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において所定のデータ単位に格納されて送信されることで、前記単位時間あたりに送信された所定のパケット数以下の伝送パケットであり、無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、前記所定のデータ単位に格納されている前記複数の伝送パケットは、前記第1伝送パケットが前記所定のデータ単位に格納されている場合、前記第1伝送パケットの数が第1パケット数としてカウントされ、前記第2伝送パケットが前記所定のデータ単位に格納されている場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値が第2パケット数としてカウントされ、カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記所定のデータ単位に格納されたパケットであり、前記無効なパケットは、NULLパケットである。 Further, the receiving method according to one aspect of the present invention is a receiving method in a receiving device having a buffer, and each receives and receives a plurality of transmission packets composed of a variable-length packet header and a variable-length payload. The first packet composed of the variable-length packet header and the variable-length payload stored in the plurality of transmitted packets is used, and the buffer is used for the second packet having the fixed-length packet header with the header extended. The second packet obtained by the conversion is output from the buffer at a predetermined extraction rate, and the buffer size of the buffer is the transmission rate of the plurality of transmission packets and the average packet length of the transmission packets. , And the plurality of transmitted packets, which are larger than the maximum buffer occupancy obtained by using the extraction rate, are periods of unit time that do not overlap each other, and the unit transmission is performed for each of a plurality of consecutive unit transmission periods. A first transmission packet that is stored in a predetermined data unit during a period and transmitted, so that the number of transmitted packets is less than or equal to the predetermined number of packets transmitted per unit time, and a real packet different from an invalid packet is stored. In the plurality of transmission packets including the transmission packet and the second transmission packet containing the invalid packet and stored in the predetermined data unit, the first transmission packet is in the predetermined data unit. When stored, the number of the first transmission packets is counted as the number of first packets, and when the second transmission packet is stored in the predetermined data unit, the packet size of the second transmission packet is set as described above. An integer value obtained by adding 1 to the quotient obtained by dividing by the maximum value of the packet size of the first transmission packet is counted as the number of second packets, and the number of first packets and the second packet obtained by counting are counted. The packet is stored in the predetermined data unit so that the total number is equal to or less than the predetermined number of packets, and the invalid packet is a FULL packet.
上記目的を達成するために、本発明の一態様に係る送信方法は、受信装置のバッファ動作を保証するために予め定められた受信バッファモデルによる規定を満たした状態で複数の伝送パケットを送信する送信方法であって、前記伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成され、前記受信バッファモデルは、前記伝送パケットを受信し、受信した前記伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファを含み、単位時間あたりに所定のパケット数以下の前記複数の伝送パケットを送信する。 In order to achieve the above object, the transmission method according to one aspect of the present invention transmits a plurality of transmission packets in a state satisfying the provisions of the reception buffer model predetermined in order to guarantee the buffer operation of the receiving device. In a transmission method, the transmission packet is composed of a variable-length packet header and a variable-length payload, and the reception buffer model receives the transmission packet and stores it in the received transmission packet. The first packet composed of the packet header and the variable-length packet is converted into a second packet having a fixed-length packet header decompressed by the header, and the second packet obtained by the conversion is extracted by a predetermined value. The plurality of transmission packets including a buffer that outputs at a rate and having a predetermined number of packets or less per unit time are transmitted.
また、本発明の一態様に係る受信方法は、バッファを有する受信装置における受信方法であって、それぞれが可変長のパケットヘッダおよび可変長のペイロードで構成される複数の伝送パケットを受信し、受信された前記複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに前記バッファを用いて変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで前記バッファから出力し、前記バッファのバッファサイズは、前記複数の伝送パケットの伝送レート、前記伝送パケットの平均パケット長、及び前記引き抜きレートを用いて求められる最大バッファ占有量よりも大きい。 Further, the receiving method according to one aspect of the present invention is a receiving method in a receiving device having a buffer, and each receives and receives a plurality of transmission packets composed of a variable length packet header and a variable length packet. The first packet composed of the variable-length packet header and the variable-length payload stored in the plurality of transmitted packets is used, and the buffer is used for the second packet having the fixed-length packet header with the header extended. The second packet obtained by the conversion is output from the buffer at a predetermined extraction rate, and the buffer size of the buffer is the transmission rate of the plurality of transmission packets and the average packet length of the transmission packet. , And the maximum buffer occupancy determined using the withdrawal rate.
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific embodiments may be realized in a recording medium such as a system, an apparatus, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the apparatus, the integrated circuit, the computer program. And may be realized by any combination of recording media.
本発明は、MMTのような方式を用いてデータ伝送する場合に、受信装置のバッファ動作を保証できる。 The present invention can guarantee the buffer operation of the receiving device when data is transmitted using a method such as MMT.
本発明の一態様に係る送信方法は、受信装置のバッファ動作を保証するために予め定められた受信バッファモデルによる規定を満たした状態で複数の伝送パケットを送信する送信方法であって、前記伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成され、前記受信バッファモデルは、前記伝送パケットを受信し、受信した前記伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファを含み、単位時間あたりに所定のパケット数以下の前記複数の伝送パケットを送信する。 The transmission method according to one aspect of the present invention is a transmission method for transmitting a plurality of transmission packets in a state satisfying the provisions of a predetermined reception buffer model in order to guarantee the buffer operation of the receiving device, and is the transmission method. A packet is composed of a variable-length packet header and a variable-length payload, and the receive buffer model receives the transmission packet and stores the variable-length packet header and the variable-length payload stored in the received transmission packet. The first packet composed of is converted into a second packet having a fixed-length packet header decompressed by the header, and the second packet obtained by the conversion includes a buffer that outputs the second packet at a predetermined withdrawal rate. The plurality of transmitted packets having a predetermined number of packets or less per unit time are transmitted.
このような送信装置は、MMTのような方式を用いてデータ伝送する場合に、受信装置のバッファ動作を保証できる。 Such a transmitting device can guarantee the buffer operation of the receiving device when data is transmitted using a method such as MMT.
例えば、さらに、前記所定のパケット数以下の前記複数の伝送パケットを所定のデータ単位に格納し、前記送信では、互いに重ならない前記単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において前記所定のデータ単位を送信することで、前記単位時間あたりに前記所定のパケット数以下の前記複数の伝送パケットを送信してもよい。 For example, further, the plurality of transmission packets having a predetermined number of packets or less are stored in a predetermined data unit, and in the transmission, the period of the unit time does not overlap with each other, and each of the continuous plurality of unit transmission periods. By transmitting the predetermined data unit in the unit transmission period, the plurality of transmission packets of the predetermined number or less per unit time may be transmitted.
例えば、前記所定のパケット数は、前記所定のデータ単位の伝送レートに応じて設定された、互いに異なる値である複数のパケット数を含み、前記格納では、前記所定のデータ単位の前記伝送レートに対応するパケット数以下の前記複数の伝送パケットを前記所定のデータ単位に格納してもよい。 For example, the predetermined number of packets includes a plurality of packets having different values from each other set according to the transmission rate of the predetermined data unit, and in the storage, the transmission rate of the predetermined data unit is used. The plurality of transmission packets having a corresponding number of packets or less may be stored in the predetermined data unit.
例えば、前記複数の伝送パケットは、無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、前記格納では、前記第1伝送パケットを前記所定のデータ単位に格納する場合、前記第1伝送パケットの数を第1パケット数としてカウントし、前記第2伝送パケットを前記所定のデータ単位に格納する場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた整数値を第2パケット数としてカウントし、カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記複数の伝送パケットを前記所定のデータ単位に格納してもよい。 For example, the plurality of transmission packets include a first transmission packet containing an actual packet different from an invalid packet and a second transmission packet containing the invalid packet, and in the storage, the said When the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets, and when the second transmission packet is stored in the predetermined data unit, the second transmission packet is counted. The integer value obtained by dividing the packet size of the transmission packet by the maximum value of the packet size of the first transmission packet is counted as the number of second packets, and the number of first packets and the second obtained by counting are counted. The plurality of transmitted packets may be stored in the predetermined data unit so that the total number of packets is equal to or less than the predetermined number of packets.
例えば、前記無効なパケットは、NULLパケットであってもよい。 For example, the invalid packet may be a NULL packet.
例えば、前記第1伝送パケットのパケットサイズの前記最大値は、1500Bであってもよい。 For example, the maximum value of the packet size of the first transmission packet may be 1500B.
例えば、前記所定のデータ単位は、伝送フレームであり、前記単位伝送期間は、前記伝送フレームに対応する伝送フレーム長であってもよい。 For example, the predetermined data unit may be a transmission frame, and the unit transmission period may be a transmission frame length corresponding to the transmission frame.
例えば、前記所定のパケット数は、最小パケットサイズの前記伝送パケットが連続しないように設定された値であってもよい。 For example, the predetermined number of packets may be a value set so that the transmission packets having the minimum packet size are not continuous.
本発明の一態様に係る受信方法は、バッファを有する受信装置における受信方法であって、それぞれが可変長のパケットヘッダおよび可変長のペイロードで構成される複数の伝送パケットを受信し、受信された前記複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに前記バッファを用いて変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで前記バッファから出力し、前記バッファのバッファサイズは、前記複数の伝送パケットの伝送レート、前記伝送パケットの平均パケット長、及び前記引き抜きレートを用いて求められる最大バッファ占有量よりも大きい。 The receiving method according to one aspect of the present invention is a receiving method in a receiving device having a buffer, and each receives and receives a plurality of transmission packets composed of a variable length packet header and a variable length packet. The first packet composed of the variable-length packet header and the variable-length payload stored in the plurality of transmission packets is converted into the second packet having the fixed-length packet header with the header extended by using the buffer. The second packet obtained by conversion is output from the buffer at a predetermined extraction rate, and the buffer size of the buffer is the transmission rate of the plurality of transmission packets, the average packet length of the transmission packet, and the average packet length of the transmission packet. It is larger than the maximum buffer occupancy obtained by using the extraction rate.
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a recording medium such as a system, an apparatus, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the apparatus, the integrated circuit, etc. It may be realized by any combination of computer programs or recording media.
以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that all of the embodiments described below show comprehensive or specific examples. The numerical values, shapes, materials, components, arrangement positions and connection forms of the components, steps, the order of steps, and the like shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claim indicating the highest level concept are described as arbitrary components.
(本発明の基礎となった知見)
近年、TV、スマートフォン、又はタブレット端末などのディスプレイの高解像度化が進んでいる。特に日本国内の放送においては2020年に8K4K(解像度が8K×4K)のサービスが予定されている。8K4Kなどの超高解像度の動画像においては、単一の復号器では実時間での復号が困難であるため、複数の復号器を用いて並列に復号処理を行う手法が検討されている。
(Knowledge that became the basis of the present invention)
In recent years, the resolution of displays such as TVs, smartphones, and tablet terminals has been increasing. Especially for broadcasting in Japan, 8K4K (resolution is 8K x 4K) service is scheduled for 2020. Since it is difficult to decode an ultra-high resolution moving image such as 8K4K in real time with a single decoder, a method of performing decoding processing in parallel using a plurality of decoders is being studied.
符号化データはMPEG-2 TSやMMTなどの多重化方式に基づいて多重化して送信されるため、受信装置は、復号に先立って、多重化データから動画の符号化データを分離する必要がある。以下、多重化データから符号化データを分離する処理を逆多重化と呼ぶ。 Since the coded data is multiplexed and transmitted based on a multiplexing method such as MPEG-2 TS or MMT, the receiving device needs to separate the encoded data of the moving image from the multiplexed data prior to decoding. .. Hereinafter, the process of separating the coded data from the multiplexed data is referred to as demultiplexing.
復号処理を並列化する際には、各復号器のそれぞれに対して、復号対象となる符号化データを振り分ける必要がある。符号化データを振り分ける際には、符号化データそのものを解析する必要があり、特に8Kなどのコンテンツにおいてはビットレートが非常に高いことから、解析に係る処理負荷が大きい。したがって、逆多重化の部分がボトルネックとなり実時間での再生が行えないという課題があった。 When parallelizing the decoding process, it is necessary to distribute the coded data to be decoded to each of the decoders. When distributing the coded data, it is necessary to analyze the coded data itself, and since the bit rate is very high especially for contents such as 8K, the processing load related to the analysis is large. Therefore, there is a problem that the demultiplexing part becomes a bottleneck and reproduction in real time cannot be performed.
ところで、MPEGとITUにより規格化されたH.264及びH.265などの動画像符号化方式においては、送信装置は、ピクチャをスライス又はスライスセグメントと呼ばれる複数の領域に分割し、分割したそれぞれの領域を独立に復号できるように符号化することができる。従って、例えば、H.265の場合には、放送を受信する受信装置は、受信データからスライスセグメント毎のデータを分離し、各スライスセグメントのデータを別々の復号器に出力することで、復号処理の並列化を実現できる。 By the way, H. is standardized by MPEG and ITU. 264 and H. In a moving image coding method such as 265, the transmission device can divide a picture into a plurality of regions called slices or slice segments, and encode each of the divided regions so that they can be independently decoded. Therefore, for example, H. In the case of 265, the receiving device that receives the broadcast can realize parallelization of the decoding process by separating the data for each slice segment from the received data and outputting the data of each slice segment to a separate decoder. ..
図1は、HEVCにおいて、1つのピクチャを4つのスライスセグメントに分割する例を示す図である。例えば、受信装置は4つの復号器を備え、各復号器が4つのスライスセグメントのうちいずれかを復号する。 FIG. 1 is a diagram showing an example of dividing one picture into four slice segments in HEVC. For example, the receiving device comprises four decoders, each of which decodes any one of the four slice segments.
従来の放送においては、送信装置は、1枚のピクチャ(MPEGシステム規格におけるアクセスユニット)を1つのPESパケットに格納し、PESパケットをTSパケット列に多重化する。このため、受信装置は、PESパケットのペイロードを分離したうえで、ペイロードに格納されたアクセスユニットのデータを解析することで、各スライスセグメントを分離し、分離された各スライスセグメントのデータを復号器に出力する必要があった。 In conventional broadcasting, the transmitting device stores one picture (access unit in the MPEG system standard) in one PES packet, and multiplexes the PES packet into a TS packet string. Therefore, the receiving device separates the payload of the PES packet, analyzes the data of the access unit stored in the payload, separates each slice segment, and decodes the data of each separated slice segment. Needed to be output to.
しかしながら、アクセスユニットのデータを解析してスライスセグメントを分離する際の処理量が大きいため、この処理を実時間で行うことが困難であるという課題があることを本発明者は見出した。 However, the present inventor has found that there is a problem that it is difficult to perform this processing in real time because the amount of processing when analyzing the data of the access unit and separating the slice segments is large.
図2は、スライスセグメントに分割されたピクチャのデータが、PESパケットのペイロードに格納される例を示す図である。 FIG. 2 is a diagram showing an example in which the data of a picture divided into slice segments is stored in the payload of a PES packet.
図2に示すように、例えば、複数のスライスセグメント(スライスセグメント1~4)のデータが1つのPESパケットのペイロードに格納される。また、PESパケットはTSパケット列に多重化される。
As shown in FIG. 2, for example, data of a plurality of slice segments (slice
(実施の形態1)
以下では、動画像の符号化方式としてH.265を用いる場合を例に説明するが、H.264など他の符号化方式を用いる場合にも本実施の形態を適用できる。
(Embodiment 1)
In the following, as a moving image coding method, H. The case where 265 is used will be described as an example, but H. This embodiment can also be applied when another coding method such as 264 is used.
図3は、本実施の形態におけるアクセスユニット(ピクチャ)を分割単位に分割した例を示す図である。アクセスユニットは、H.265によって導入されたタイルと呼ばれる機能により、水平及び垂直方向にそれぞれ2等分され、合計4つのタイルに分割される。また、スライスセグメントとタイルは1対1に対応付けられる。 FIG. 3 is a diagram showing an example in which the access unit (picture) in the present embodiment is divided into division units. The access unit is H. A feature called tiles introduced by 265 divides the tiles horizontally and vertically into two equal parts, for a total of four tiles. Also, slice segments and tiles are associated one-to-one.
このように水平及び垂直方向に2等分する理由について説明する。まず、復号時には、一般的に水平1ラインのデータを格納するラインメモリが必要となるが、8K4Kなどの超高解像度になると、水平方向のサイズが大きくなるためラインメモリのサイズが増加する。受信装置の実装においては、ラインメモリのサイズを低減できることが望ましい。ラインメモリのサイズを低減するためには垂直方向の分割が必要となる。垂直方向の分割にはタイルというデータ構造が必要である。これらの理由により、タイルが用いられる。 The reason for dividing into two equal parts in the horizontal and vertical directions will be described. First, at the time of decoding, a line memory for storing one horizontal line of data is generally required, but in an ultra-high resolution such as 8K4K, the size in the horizontal direction becomes large, so that the size of the line memory increases. In mounting the receiving device, it is desirable that the size of the line memory can be reduced. Vertical division is required to reduce the size of the line memory. Vertical division requires a data structure called tiles. For these reasons, tiles are used.
一方で、画像は一般的に水平方向の相関が高いため、水平方向に広い範囲を参照できるほうが符号化効率は向上する。従って、符号化効率の観点ではアクセスユニットが水平方向に分割されることが望ましい。 On the other hand, since images generally have a high horizontal correlation, the coding efficiency is improved if a wide range can be referred to in the horizontal direction. Therefore, from the viewpoint of coding efficiency, it is desirable that the access unit is divided in the horizontal direction.
アクセスユニットが水平及び垂直方向に2等分されることで、これら2つの特性を両立させ、実装面、及び符号化効率の両面を考慮できる。単一の復号器が4K2Kの動画像を実時間での復号が可能の場合には、8K4Kの画像が4等分され、各々のスライスセグメントが4K2Kとなるように分割されることで、受信装置は、8K4Kの画像を実時間で復号できる。 By dividing the access unit into two equal parts in the horizontal and vertical directions, these two characteristics can be compatible with each other, and both the mounting surface and the coding efficiency can be considered. When a single decoder can decode a 4K2K moving image in real time, the 8K4K image is divided into four equal parts, and each slice segment is divided into 4K2K. Can decode 8K4K images in real time.
次に、アクセスユニットが水平及び垂直方向に分割されることで得られたタイルとスライスセグメントとを1対1に対応付ける理由について説明する。H.265においては、アクセスユニットは複数のNAL(Network Adaptation Layer)ユニットと呼ばれる単位から構成される。 Next, the reason why the tiles obtained by dividing the access unit in the horizontal and vertical directions and the slice segments have a one-to-one correspondence will be described. H. In 265, the access unit is composed of a plurality of units called NAL (Network Adjustment Layer) units.
NALユニットのペイロードは、アクセスユニットの開始位置を示すアクセスユニットデリミタ、シーケンス単位で共通に用いられる復号時の初期化情報であるSPS(Sequence Parameter Set)、ピクチャ内で共通に用いられる復号時の初期化情報であるPPS(Picture Parameter Set)、復号処理自体には不要であるが復号結果の処理及び表示などにおいて必要となるSEI(Supplemental Enhancement Information)、並びに、スライスセグメントの符号化データなどのいずれかを格納する。NALユニットのヘッダは、ペイロードに格納されるデータを識別するためのタイプ情報を含む。 The payload of the NAL unit is an access unit delimiter that indicates the start position of the access unit, SPS (Sequence Parameter Set) that is initialization information at the time of decoding that is commonly used for each sequence, and the initial at the time of decoding that is commonly used in the picture. Either PPS (Picture Parameter Set), which is the information to be converted, SEI (Supplemental Enhancement Information), which is not necessary for the decoding process itself but is necessary for processing and displaying the decoding result, and coded data of the slice segment. To store. The header of the NAL unit contains type information for identifying the data stored in the payload.
ここで、送信装置は、符号化データをMPEG-2 TS、MMT(MPEG Media Transport)、MPEG DASH(Dynamic Adaptive
Streaming over HTTP)、又は、RTP(Real-time Transport Protocol)などの多重化フォーマットによって多重化する際には、基本単位をNALユニットに設定できる。1つのスライスセグメントを1つのNALユニットに格納するためには、アクセスユニットを領域に分割する際に、スライスセグメント単位に分割することが望ましい。このような理由から、送信装置は、タイルとスライスセグメントとを1対1に対応付ける。
Here, the transmission device transmits the coded data to MPEG-2 TS, MMT (MPEG Media Transport), and MPEG DASH (Dynamic Adaptive).
When multiplexing with a multiplexing format such as Streaming over HTTP) or RTP (Real-time Transport Protocol), the basic unit can be set to the NAL unit. In order to store one slice segment in one NAL unit, it is desirable to divide the access unit into slice segment units when dividing the access unit into areas. For this reason, the transmitter associates tiles with slice segments in a one-to-one relationship.
なお、図4に示すように、送信装置は、タイル1からタイル4までをまとめて1つのスライスセグメントに設定することも可能である。しかし、この場合には、1つのNALユニットに全てのタイルが格納されることになり、受信装置が、多重化レイヤにおいてタイルを分離することが困難である。
As shown in FIG. 4, the transmission device can collectively set
なお、スライスセグメントには独立に復号可能な独立スライスセグメントと、独立スライスセグメントを参照する参照スライスセグメントとが存在するが、ここでは独立スライスセグメントが用いられる場合を説明する。 The slice segment includes an independent slice segment that can be independently decoded and a reference slice segment that refers to the independent slice segment. Here, a case where the independent slice segment is used will be described.
図5は、図3に示すようにタイルとスライスセグメントとの境界が一致するように分割されたアクセスユニットのデータの例を示す図である。アクセスユニットのデータは、先頭に配置されたアクセスユニットデリミタが格納されるNALユニットと、その後に配置されるSPS、PPS、及びSEIのNALユニットと、その後に配置されるタイル1からタイル4までのデータが格納されたスライスセグメントのデータとを含む。なお、アクセスユニットのデータは、SPS、PPS及びSEIのNALユニットの一部又は全てを含まなくてもよい。
FIG. 5 is a diagram showing an example of data of an access unit divided so that the boundaries between the tile and the slice segment match as shown in FIG. The data of the access unit includes the NAL unit in which the access unit delimiter placed at the beginning is stored, the NAL units of SPS, PPS, and SEI placed after that, and
次に、本実施の形態に係る送信装置100の構成を説明する。図6は、本実施の形態に係る送信装置100の構成例を示すブロック図である。この送信装置100は、符号化部101と、多重化部102と、変調部103と、送信部104とを備える。
Next, the configuration of the
符号化部101は、入力画像を、例えば、H.265に従い符号化することで符号化データを生成する。また、符号化部101は、例えば、図3に示すように、アクセスユニットを4つのスライスセグメント(タイル)に分割し、各スライスセグメントを符号化する。
The
多重化部102は、符号化部101により生成された符号化データを多重化する。変調部103は、多重化により得られたデータを変調する。送信部104は、変調後のデータを放送信号として送信する。
The
次に、本実施の形態に係る受信装置200の構成を説明する。図7は、本実施の形態に係る受信装置200の構成例を示すブロック図である。この受信装置200は、チューナー201と、復調部202と、逆多重化部203と、複数の復号部204A~204Dと、表示部205とを備える。
Next, the configuration of the receiving
チューナー201は、放送信号を受信する。復調部202は、受信された放送信号を復調する。復調後のデータは逆多重化部203に入力される。
The
逆多重化部203は、復調後のデータを分割単位に分離し、分割単位毎のデータを復号部204A~204Dに出力する。ここで、分割単位とは、アクセスユニットが分割されることで得られた分割領域であり、例えば、H.265におけるスライスセグメントである。また、ここでは、8K4Kの画像が4つの4K2Kの画像に分割される。よって、4つの復号部204A~204Dが存在する。
The
複数の復号部204A~204Dは、所定の基準クロックに基づいて互いに同期して動作する。各復号部は、アクセスユニットのDTS(Decoding Time Stamp)に従って分割単位の符号化データを復号し、復号結果を表示部205に出力する。
The plurality of
表示部205は、複数の復号部204A~204Dから出力された複数の復号結果を統合することで8K4Kの出力画像を生成する。表示部205は、別途取得したアクセスユニットのPTS(Presentation Time Stamp)に従って、生成された出力画像を表示する。なお、表示部205は、復号結果を統合する際に、タイルの境界など、互いに隣接する分割単位の境界領域において、当該境界が視覚的に目立たなくなるようにデブロックフィルタなどのフィルタ処理を行ってもよい。
The
なお、上記では、放送の送信又は受信を行う送信装置100及び受信装置200を例に説明したが、コンテンツは通信ネットワーク経由で送信及び受信されてもよい。受信装置200が、通信ネットワーク経由でコンテンツを受信する場合には、受信装置200は、イーサーネットなどのネットワークにより受信したIPパケットから多重化データを分離する。
In the above description, the
放送においては、放送信号が送信されてから受信装置200に届くまでの間の伝送路遅延は一定である。一方、インターネットなどの通信ネットワークにおいては輻輳の影響により、サーバーから送信されたデータが受信装置200に届くまでの伝送路遅延は一定でない。従って、受信装置200は、放送のMPEG-2 TSにおけるPCRのような基準クロックに基づいた厳密な同期再生を行わないことが多い。そのため、受信装置200は、各復号部を厳密に同期させることはせずに、表示部において8K4Kの出力画像をPTSに従って表示してもよい。
In broadcasting, the transmission line delay from the transmission of the broadcast signal to the arrival at the receiving
また、通信ネットワークの輻輳などにより、全ての分割単位の復号処理がアクセスユニットのPTSで示される時刻において完了していない場合がある。この場合には、受信装置200は、アクセスユニットの表示をスキップする、又は、少なくとも4つの分割単位の復号が終了し、8K4Kの画像の生成が完了するまで表示を遅延させる。
Further, due to congestion of the communication network or the like, the decoding process of all the division units may not be completed at the time indicated by the PTS of the access unit. In this case, the receiving
なお、放送と通信とを併用してコンテンツが送信及び受信されてもよい。また、ハードディスク又はメモリなどの記録媒体に格納された多重化データを再生する際にも本手法を適用可能である。 The content may be transmitted and received in combination with broadcasting and communication. In addition, this method can also be applied when reproducing multiplexed data stored in a recording medium such as a hard disk or a memory.
次に、多重化方式としてMMTが用いられる場合の、スライスセグメントに分割されたアクセスユニットの多重化方法にについて説明する。 Next, when MMT is used as the multiplexing method, a method for multiplexing access units divided into slice segments will be described.
図8は、HEVCのアクセスユニットのデータを、MMTにパケット化する際の例を示す図である。SPS、PPS及びSEIなどはアクセスユニットに必ずしも含まれる必要はないが、ここでは存在する場合について例示する。 FIG. 8 is a diagram showing an example of packetizing the data of the access unit of HEVC into MMT. SPS, PPS, SEI, etc. do not necessarily have to be included in the access unit, but the case where they exist is illustrated here.
アクセスユニットデリミタ、SPS、PPS、及びSEIなどのアクセスユニット内で先頭のスライスセグメントよりも前に配置されるNALユニットは一纏めにしてMMTパケット#1に格納される。後続のスライスセグメントは、スライスセグメント毎に別々のMMTパケットに格納される。
NAL units arranged before the first slice segment in the access unit such as the access unit delimiter, SPS, PPS, and SEI are collectively stored in the
なお、図9に示すように、アクセスユニット内で先頭のスライスセグメントよりも前に配置されるNALユニットが、先頭のスライスセグメントと同一のMMTパケットに格納されてもよい。 As shown in FIG. 9, the NAL unit arranged before the first slice segment in the access unit may be stored in the same MMT packet as the first slice segment.
また、シーケンス又はストリームの終端を示す、End-of-Sequence又はEnd-of-BitstreamなどのNALユニットが最終スライスセグメントの後に付加される場合には、これらは、最終スライスセグメントと同一のMMTパケットに格納される。ただし、End-of-Sequence又はEnd-of-BitstreamなどのNALユニットは、復号処理の終了ポイント、又は2本のストリームの接続ポイントなどに挿入されるため、受信装置200が、これらのNALユニットを、多重化レイヤにおいて容易に取得できることが望ましい場合がある。この場合には、これらのNALユニットは、スライスセグメントとは別のMMTパケットに格納されてもよい。これにより、受信装置200は、多重化レイヤにおいてこれらのNALユニットを容易に分離できる。
Also, if NAL units such as End-of-Sequence or End-of-Bitstream indicating the end of the sequence or stream are added after the final slice segment, they will be in the same MMT packet as the final slice segment. Stored. However, since NAL units such as End-of-Sequence or End-of-Bitstream are inserted at the end point of the decoding process or the connection point of two streams, the receiving
なお、多重化方式として、TS、DASH又はRTPなどが用いられてもよい。これらの方式においても、送信装置100は、異なるスライスセグメントをそれぞれ異なるパケットに格納する。これにより、受信装置200が多重化レイヤにおいてスライスセグメントを分離できることを保証できる。
As the multiplexing method, TS, DASH, RTP, or the like may be used. Also in these methods, the
例えば、TSが用いられる場合、スライスセグメント単位で符号化データがPESパケット化される。RTPが用いられる場合、スライスセグメント単位で符号化データがRTPパケット化される。これらの場合においても、図8に示すMMTパケット#1のように、スライスセグメントよりも前に配置されるNALユニットとスライスセグメントとが別々にパケット化されてもよい。
For example, when TS is used, the coded data is PES packetized in slice segment units. When RTP is used, the coded data is RTP packetized in slice segment units. Even in these cases, the NAL unit and the slice segment arranged before the slice segment may be packetized separately as in
TSが用いられる場合、送信装置100は、data alignment記述子を用いることなどにより、PESパケットに格納されるデータの単位を示す。また、DASHはセグメントと呼ばれるMP4形式のデータ単位をHTTPなどによりダウンロードする方式であるため、送信装置100は、送信にあたって符号化データのパケット化は行わない。このため、送信装置100は、受信装置200がMP4において多重化レイヤでスライスセグメントを検出できるように、スライスセグメント単位でサブサンプルを作成し、サブサンプルの格納位置を示す情報をMP4のヘッダに格納してもよい。
When TS is used, the
以下、スライスセグメントのMMTパケット化について、詳細に説明する。 Hereinafter, MMT packetization of slice segments will be described in detail.
図8に示すように、符号化データがパケット化されることで、SPS及びPPSなどのアクセスユニット内の全スライスセグメントの復号時に共通に参照されるデータがMMTパケット#1に格納される。この場合、受信装置200は、MMTパケット#1のペイロードデータと各スライスセグメントのデータとを連結し、得られたデータを復号部に出力する。このように、受信装置200は、複数のMMTパケットのペイロードを連結することで、復号部への入力データを容易に生成できる。
As shown in FIG. 8, by packetizing the coded data, the data commonly referred to at the time of decoding all the slice segments in the access unit such as SPS and PPS is stored in the
図10は、図8に示すMMTパケットから復号部204A~204Dへの入力データが生成される例を示す図である。逆多重化部203は、MMTパケット#1とMMTパケット#2とのペイロードデータを連結させることで、復号部204Aが、スライスセグメント1を復号するために必要なデータを生成する。逆多重化部203は、復号部204Bから復号部204Dについても、同様に入力データを生成する。つまり、逆多重化部203は、MMTパケット#1とMMTパケット#3とのペイロードデータを連結させることで、復号部204Bの入力データを生成する。逆多重化部203は、MMTパケット#1とMMTパケット#4とのペイロードデータを連結させることで、復号部204Cの入力データを生成する。逆多重化部203は、MMTパケット#1とMMTパケット#5とのペイロードデータを連結させることで、復号部204Dの入力データを生成する。
FIG. 10 is a diagram showing an example in which input data to the
なお、逆多重化部203は、アクセスユニットデリミタ及びSEIなど、復号処理に必要ではないNALユニットを、MMTパケット#1のペイロードデータから除去し、復号処理に必要であるSPS及びPPSのNALユニットのみを分離してスライスセグメントのデータに付加してもよい。
The
図9に示すように符号化データがパケット化される場合には、逆多重化部203は、多重化レイヤにおいてアクセスユニットの先頭データを含むMMTパケット#1を1番目の復号部204Aに出力する。また、逆多重化部203は、多重化レイヤにおいてアクセスユニットの先頭データを含むMMTパケットを解析し、SPS及びPPSのNALユニットを分離し、分離したSPS及びPPSのNALユニットを2番目以降のスライスセグメントのデータの各々に付加することで2番目以降の復号部の各々に対する入力データを生成する。
When the coded data is packetized as shown in FIG. 9, the
さらに、受信装置200が、MMTパケットのヘッダに含まれる情報を用いて、MMTペイロードに格納されるデータのタイプ、及び、ペイロードにスライスセグメントが格納されている場合のアクセスユニット内における当該スライスセグメントのインデックス番号を識別できることが望ましい。ここで、データのタイプとは、スライスセグメント前データ(アクセスユニット内で先頭スライスセグメントよりも前に配置されるNALユニットをまとめて、このように呼ぶことにする)、及び、スライスセグメントのデータのいずれである。MMTパケットに、スライスセグメントなどのMPUをフラグメント化した単位を格納する場合には、MFU(Media Fragment Unit)を格納するためのモードが用いられる。送信装置100は、本モードを用いる場合には、例えば、MFUにおけるデータの基本単位であるData Unitを、サンプル(MMTにおけるデータ単位であり、アクセスユニットに相当する)、又は、サブサンプル(サンプルを分割した単位)に設定できる。
Further, the receiving
このとき、MMTパケットのヘッダは、Fragmentation indicatorと呼ばれるフィールドと、Fragment counterと呼ばれるフィールドとを含む。 At this time, the header of the MMT packet includes a field called a Fragmentation indicator and a field called a Fragmentation counter.
Fragmentation indicatorは、MMTパケットのペイロードに格納されるデータが、Data unitをフラグメント化したものであるかどうか、フラグメント化したものである場合には、当該フラグメントがData unitにおける先頭或いは最終のフラグメント、又は、先頭と最終とのどちらでもないフラグメントであるかを示す。言い換えると、あるパケットのヘッダに含まれるFragmentation indicatorは、(1)基本データ単位であるData unitに当該パケットのみが含まれる、(2)Data unitが複数のパケットに分割して格納され、かつ、当該パケットがData unitの先頭のパケットである、(3)Data unitが複数のパケットに分割して格納され、かつ、当該パケットがData unitの先頭及び最後以外のパケットである、及び、(4)Data unitが複数のパケットに分割して格納され、かつ、当該パケットがData unitの最後のパケットである、のいずれであるかを示す識別情報である。 The Fragmentation indicator indicates whether the data stored in the payload of the MMT packet is a fragment of the Data unit, and if it is a fragment, the fragment is the first or last fragment in the Data unit, or , Indicates whether the fragment is neither the beginning nor the end. In other words, the Fragmentation indicator included in the header of a certain packet is (1) the Data unit, which is the basic data unit, contains only the packet, and (2) the Data unit is divided into a plurality of packets and stored. The packet is the first packet of the Data unit, (3) the Data unit is divided and stored in a plurality of packets, and the packet is a packet other than the beginning and the end of the Data unit, and (4). This is identification information indicating whether the Data unit is divided into a plurality of packets and stored, and the packet is the last packet of the Data unit.
Fragment counterは、MMTパケットに格納されるデータが、Data unitにおいて何番目のフラグメントに相当するかを示すインデックス番号である。 The Fragment counter is an index number indicating which fragment the data stored in the MMT packet corresponds to in the Data unit.
従って、送信装置100が、MMTにおけるサンプルをData unitに設定し、スライスセグメント前データ、及び、各スライスセグメントを、それぞれData unitのフラグメント単位に設定することで、受信装置200は、MMTパケットのヘッダに含まれる情報を用いて、ペイロードに格納されるデータのタイプが識別できる。つまり、逆多重化部203は、MMTパケットのヘッダを参照して、各復号部204A~204Dへの入力データを生成できる。
Therefore, the transmitting
図11は、サンプルがData unitに設定され、スライスセグメント前データ、及び、スライスセグメントがData unitのフラグメントとしてパケット化される場合の例を示す図である。 FIG. 11 is a diagram showing an example in which the sample is set to Data unit and the pre-slice segment data and the slice segment are packetized as a fragment of Data unit.
スライスセグメント前データ、及びスライスセグメントは、フラグメント#1からフラグメント#5までの5つのフラグメントに分割される。各フラグメントは個別のMMTパケットに格納される。このとき、MMTパケットのヘッダに含まれるFragmentation indicator及びFragment counterの値は図示する通りである。
The pre-slice segment data and the slice segment are divided into five fragments from
例えば、Fragment indicatorは、2進数の2ビット値である。Data unitの先頭であるMMTパケット#1のFragment indicator、最終であるMMTパケット#5のFragment indicator、及び、その間のパケットであるMMTパケット#2からMMTパケット#4までのFragment indicatorは、それぞれ別の値に設定される。具体的には、Data unitの先頭であるMMTパケット#1のFragment indicatorは01に設定され、最終であるMMTパケット#5のFragment indicatorは11に設定され、その間のパケットであるMMTパケット#2からMMTパケット#4までのFragment indicatorは10に設定される。なお、Data unitに一つのMMTパケットのみが含まれる場合には、Fragment indicatorは00に設定される。
For example, Fragment indicator is a binary 2-bit value. The Fragment indicator of
また、Fragment counterは、MMTパケット#1においてはフラグメントの総数である5から1を減算した値である4であり、後続パケットにおいては順に1ずつ減少し、最後のMMTパケット#5においては0である。
Further, the Fragment counter is 4 which is a value obtained by subtracting 1 from 5 which is the total number of fragments in
従って、受信装置200は、スライスセグメント前データを格納するMMTパケットを、Fragment indicator、及び、Fragment counterのいずれかを用いて識別できる。また、受信装置200は、N番目のスライスセグメントを格納するMMTパケットを、Fragment counterを参照することにより識別できる。
Therefore, the receiving
MMTパケットのヘッダは、別途、Data unitが属するMovie FragmentのMPU内でのシーケンス番号と、MPU自体のシーケンス番号と、Data unitが属するサンプルのMovie Fragment内におけるシーケンス番号とを含む。逆多重化部203は、これらを参照することで、Data unitが属するサンプルを一意に決定できる。
The header of the MMT packet separately includes the sequence number in the MPU of the Movie Fragment to which the Data unit belongs, the sequence number of the MPU itself, and the sequence number in the Movie Fragment of the sample to which the Data unit belongs. By referring to these, the
更に、逆多重化部203は、Data unit内におけるフラグメントのインデックス番号をFragment counterなどから決定できるため、パケットロスが発生した場合にも、フラグメントに格納されるスライスセグメントを一意に特定できる。例えば、逆多重化部203は、図11に示すフラグメント#4がパケットロスにより取得できなかった場合でも、フラグメント#3の次に受信したフラグメントがフラグメント#5であることが分かるため、フラグメント#5に格納されるスライスセグメント4を、復号部204Cではなく復号部204Dに正しく出力することができる。
Further, since the
なお、パケットロスが発生しないことが保証される伝送路が使用される場合には、逆多重化部203は、MMTパケットのヘッダを参照してMMTパケットに格納されるデータのタイプ、又はスライスセグメントのインデックス番号を決定せずに、到着したパケットを周期的に処理すればよい。例えば、アクセスユニットが、スライス前データ、及び、4つのスライスセグメントの計5つのMMTパケットにより送信される場合には、受信装置200は、復号を開始するアクセスユニットのスライス前データを決定した後は、受信したMMTパケットを順に処理することで、スライス前データ、及び、4つのスライスセグメントのデータを順に取得できる。
When a transmission line that guarantees no packet loss is used, the
以下、パケット化の変形例について説明する。 Hereinafter, a modified example of packetization will be described.
スライスセグメントは、必ずしもアクセスユニットの面内を水平方向と垂直方向との両方に分割されたものである必要はなく、図1に示すように、アクセスユニットを水平方向のみに分割されたものでもよいし、垂直方向のみに分割されたものでもよい。 The slice segment does not necessarily have to be divided in both the horizontal direction and the vertical direction in the plane of the access unit, and the access unit may be divided only in the horizontal direction as shown in FIG. However, it may be divided only in the vertical direction.
また、水平方向のみにアクセスユニットが分割される場合には、タイルが用いられる必要はない。 Also, if the access unit is divided only in the horizontal direction, tiles do not need to be used.
また、アクセスユニットにおける面内の分割数は任意であり、4つに限定されるものではない。但し、スライスセグメント及びタイルの領域サイズはH.265などの符号化規格の下限以上である必要がある。 Further, the number of in-plane divisions in the access unit is arbitrary and is not limited to four. However, the area size of slice segments and tiles is H. It must be at least the lower limit of a coding standard such as 265.
送信装置100は、アクセスユニットにおける面内の分割方法を示す識別情報を、MMTメッセージ、又はTSのデスクリプタなどに格納してもよい。例えば、面内における水平方向と垂直方向との分割数とをそれぞれ示す情報が格納されてもよい。または、図3に示すように水平方向及び垂直方向にそれぞれ2等分されている、又は、図1に示すように水平方向に4等分されているなど、分割方法に対して固有の識別情報が割り当てられてもよい。例えば、図3に示すようにアクセスユニットが分割されている場合は、識別情報はモード1を示し、図1に示すようにアクセスユニットが分割されている場合には、識別情報はモード1を示す。
The
また、面内の分割方法に関連する符号化条件の制約を示す情報が、多重化レイヤに含まれてもよい。例えば、1つのスライスセグメントが1つのタイルから構成されること示す情報が用いられてもよい。または、スライスセグメント或いはタイルの復号時に動き補償を行う場合の参照ブロックが、画面内の同一位置のスライスセグメント或いはタイルに制限される、又は、隣接スライスセグメントにおける所定の範囲内のブロックに限定されることなどを示す情報が用いられてもよい。 In addition, the multiplexing layer may contain information indicating restrictions on coding conditions related to the in-plane division method. For example, information indicating that one slice segment is composed of one tile may be used. Alternatively, the reference block for motion compensation when decoding a slice segment or tile is limited to the slice segment or tile at the same position on the screen, or the block within a predetermined range in the adjacent slice segment. Information indicating that, etc. may be used.
また、送信装置100は、動画像の解像度に応じて、アクセスユニットを複数のスライスセグメントに分割するかどうかを切替えてもよい。例えば、送信装置100は、処理対象の動画像が4K2Kの解像度の場合には面内の分割を行わずに、処理対象の動画像が8K4Kの場合にはアクセスユニットを4つに分割してもよい。8K4Kの動画像の場合の分割方法を予め規定しておくことにより、受信装置200は、受信する動画像の解像度を取得することで、面内の分割の有無、及び分割方法を決定し、復号動作を切替えることができる。
Further, the
また、受信装置200は、面内の分割の有無を、MMTパケットのヘッダを参照することにより検出できる。例えば、アクセスユニットが分割されない場合には、MMTのData unitがサンプルに設定されていれば、Data unitのフラグメントは行われない。従って、受信装置200は、MMTパケットのヘッダに含まれるFragment counterの値が常にゼロの場合には、アクセスユニットは分割されないと判定できる。または、受信装置200は、Fragmentation indicatorの値が常に01であるかどうかを検出してもよい。受信装置200は、Fragmentation indicatorの値が常に01の場合もアクセスユニットは分割されないと判定できる。
Further, the receiving
また、受信装置200は、アクセスユニットにおける面内の分割数と復号部の数とが一致しない場合にも対応できる。例えば、受信装置200が、8K2Kの符号化データを実時間で復号できる2つの復号部204A及び204Bを備える場合には、逆多重化部203は、復号部204Aに対して、8K4Kの符号化データを構成する4つのスライスセグメントのうちの2つを出力する。
Further, the receiving
図12は、図8に示すようにMMTパケット化されたデータが、2つの復号部204A及び204Bに入力される場合の動作例を示す図である。ここで、受信装置200は、復号部204A及び204Bにおける復号結果を、そのまま統合して出力できることが望ましい。よって、逆多重化部203は、復号部204A及び204Bの各々の復号結果が空間的に連続するように、復号部204A及び204Bの各々に出力するスライスセグメントを選択する。
FIG. 12 is a diagram showing an operation example when the MMT packetized data as shown in FIG. 8 is input to the two
また、逆多重化部203は、動画像の符号化データの解像度又はフレームレートなどに応じて、使用する復号部を選択してもよい。例えば、受信装置200が4K2Kの復号部を4つ備える場合には、入力画像の解像度が8K4Kであれば、受信装置200は、4つ全ての復号部を用いて復号処理を行う。また、受信装置200は、入力画像の解像度が4K2Kであれば1つの復号部のみを用いて復号処理を行う。または、逆多重化部203は、面内が4つに分割されていても、8K4Kを単一の復号部により実時間で復号できる場合には、全ての分割単位を統合して一つの復号部に出力する。
Further, the
さらに、受信装置200は、フレームレートを考慮して使用する復号部を決定してもよい。例えば、受信装置200が、解像度が8K4Kである場合に実時間で復号可能なフレームレートの上限が60fpsである復号部を2台備える場合に、8K4Kで120fpsの符号化データが入力されるケースがある。このとき、面内が4つの分割単位から構成されるとすると、図12の例と同様に、スライスセグメント1とスライスセグメント2とが復号部204Aに入力され、スライスセグメント3とスライスセグメント4とが復号部204Bに入力される。各々の復号部204A及び204Bは、8K2K(解像度が8K4Kの半分)であれば120fpsまで実時間で復号できるため、これら2台の復号部204A及び204Bにより復号処理が行われる。
Further, the receiving
また、解像度及びフレームレートが同一であっても、符号化方式におけるプロファイル、或いはレベル、又は、H.264或いはH.265など符号化方式自体が異なると処理量が異なる。よって、受信装置200は、これらの情報に基づいて使用する復号部を選択してもよい。なお、受信装置200は、放送又は通信により受信した符号化データを全て復号することができない場合、又は、ユーザーが選択した領域を構成する全てのスライスセグメント又はタイルが復号できない場合には、復号部の処理範囲内で復号可能なスライスセグメント又はタイルを自動的に決定してもよい。または、受信装置200は、ユーザーが復号する領域を選択するためのユーザインタフェースを提供してもよい。このとき、受信装置200は、全て領域を復号できないことを示す警告メッセージを表示してもよいし、復号可能な領域、スライスセグメント又はタイルの個数を示す情報を表示してもよい。
Further, even if the resolution and the frame rate are the same, the profile or level in the coding method, or H.I. 264 or H. If the coding method itself such as 265 is different, the processing amount will be different. Therefore, the receiving
また、上記方法は、同一符号化データのスライスセグメントを格納するMMTパケットが、放送及び通信など複数の伝送路を用いて送信及び受信される場合にも適用できる。 Further, the above method can be applied to a case where an MMT packet storing a slice segment of the same coded data is transmitted and received using a plurality of transmission paths such as broadcasting and communication.
また、送信装置100は、分割単位の境界を目立たなくするために、各スライスセグメントの領域がオーバーラップするように符号化を行ってもよい。図13に示す例では、8K4Kのピクチャが4つのスライスセグメント1~4に分割される。スライスセグメント1~3の各々は、例えば、8K×1.1Kであり、スライスセグメント4は8K×1Kである。また、隣接するスライスセグメントは互いにオーバーラップする。こうすることで、点線で示す4分割した場合の境界においては、符号化時の動き補償が効率的に実行できるため、境界部分の画質が向上する。このように、境界部分の画質劣化が低減される。
Further, the
この場合、表示部205は、8K×1.1Kの領域から、8K×1Kの領域を切り出し、得られた領域を統合する。なお、送信装置100は、スライスセグメントがオーバーラップして符号化されているかどうか、及び、オーバーラップの範囲を示す情報を、多重化レイヤ、又は、符号化データ内に含めて、別途送信してもよい。
In this case, the
なお、タイルが使用される場合にも、同様の手法を適用可能である。 The same method can be applied when tiles are used.
以下、送信装置100の動作の流れを説明する。図14は、送信装置100の動作例を示すフローチャートである。
Hereinafter, the operation flow of the
まず、符号化部101は、ピクチャ(アクセスユニット)を複数の領域である複数のスライスセグメント(タイル)に分割する(S101)。次に、符号化部101は、複数のスライスセグメントの各々を独立して復号が可能なように符号化することで、複数のスライスセグメントの各々に対応する符号化データを生成する(S102)。なお、符号化部101は、複数のスライスセグメントを単一の符号化部で符号化してもよし、複数の符号化部で並列処理してもよい。
First, the
次に、多重化部102は、符号化部101で生成された複数の符号化データを、複数のMMTパケットに格納することで、複数の符号化データを多重化する(S103)。具体的には、図8及び図9に示すように、多重化部102は、一つのMMTパケットに、異なるスライスセグメントに対応する符号化データが格納されないように、複数の符号化データを複数のMMTパケットに格納する。また、多重化部102は、図8に示すように、ピクチャ内の全ての復号単位に対して共通に用いられる制御情報を、複数の符号化データが格納される複数のMMTパケット#2~#5とは異なるMMTパケット#1に格納する。ここで制御情報は、アクセスユニットデリミタ、SPS,PPS及びSEIのうち少なくとも一つを含む。
Next, the
なお、多重化部102は、制御情報を、複数の符号化データが格納される複数のMMTパケットのいずれかと同じMMTパケットに格納してもよい。例えば、図9に示すように、多重化部102は、制御情報を、複数の符号化データが格納される複数のMMTパケットのうちの先頭のMMTパケット(図9のMMTパケット#1)に格納してもよい。
The
最後に、送信装置100は、複数のMMTパケットを送信する。具体的には、変調部103は、多重化により得られたデータを変調し、送信部104は、変調後のデータを送信する(S104)。
Finally, the
図15は、受信装置200の構成例を示すブロック図であり、図7に示す逆多重化部203及びその後段の構成を詳細に示す図である。図15に示すように、受信装置200は、さらに、復号命令部206を備える。また、逆多重化部203は、タイプ判別部211と、制御情報取得部212と、スライス情報取得部213と、復号データ生成部214とを備える。
FIG. 15 is a block diagram showing a configuration example of the receiving
以下、受信装置200の動作の流れを説明する。図16は、受信装置200の動作例を示すフローチャートである。ここでは、1つのアクセスユニットに対する動作を示す。複数のアクセスユニットの復号処理が実行される場合には、本フローチャートの処理が繰り返される。
Hereinafter, the operation flow of the receiving
まず、受信装置200は、は、例えば、送信装置100により生成された複数のパケット(MMTパケット)を受信する(S201)。
First, the receiving
次に、タイプ判別部211は、受信パケットのヘッダを解析することで、受信パケットに格納されている符号化データのタイプを取得する(S202)。
Next, the
次に、タイプ判別部211は、取得された符号化データのタイプに基づき、受信パケットに格納されているデータがスライスセグメント前データであるか、スライスセグメントのデータであるかを判定する(S203)。
Next, the
受信パケットに格納されているデータがスライスセグメント前データである場合(S203でYes)、制御情報取得部212は、受信パケットのペイロードから処理対象のアクセスユニットのスライスセグメント前データを取得し、当該スライスセグメント前データをメモリに格納する(S204)。
When the data stored in the received packet is the pre-slice segment data (Yes in S203), the control
一方、受信パケットに格納されているデータがスライスセグメントのデータである場合(S203でNo)、受信装置200は、受信パケットのヘッダ情報を用いて、当該受信パケットに格納されているデータが、複数の領域のうちいずれの領域の符号化データであるかを判定する。具体的には、スライス情報取得部213は、受信パケットのヘッダを解析することで、受信パケットに格納されているスライスセグメントのインデックス番号Idxを取得する(S205)。具体的には、インデックス番号Idxは、アクセスユニット(MMTにおけるサンプル)のMovie Fragment内におけるインデックス番号である。
On the other hand, when the data stored in the received packet is slice segment data (No in S203), the receiving
なお、このステップS205の処理は、ステップS202においてまとめて行われてもよい。 The process of step S205 may be collectively performed in step S202.
次に、復号データ生成部214は、当該スライスセグメントを復号する復号部を決定する(S206)。具体的には、インデックス番号Idxと複数の復号部とは予め対応付けられており、復号データ生成部214は、ステップS205で取得されたインデックス番号Idxに対応する復号部を、当該スライスセグメントを復号する復号部を決定する。
Next, the decoding
なお、復号データ生成部214は、図12の例において説明したように、アクセスユニット(ピクチャ)の解像度、アクセスユニットの複数のスライスセグメント(タイル)への分割方法、及び受信装置200が備える複数の復号部の処理能力の少なくとも一つに基づき、当該スライスセグメントを復号する復号部を決定してもよい。例えば、復号データ生成部214は、アクセスユニットの分割方法を、MMTのメッセージ、又はTSのセクションなどのデスクリプタにおける識別情報に基づいて判別する。
As described in the example of FIG. 12, the decoding
次に、復号データ生成部214は、複数のパケットのいずれかに含まれる、ピクチャ内の全ての復号単位に対して共通に用いられる制御情報と、複数のスライスセグメントの複数の符号化データの各々とを結合することで、複数の復号部へ入力される複数の入力データ(結合データ)を生成する。具体的には、復号データ生成部214は、受信パケットのペイロードからスライスセグメントのデータを取得する。復号データ生成部214は、ステップS204でメモリに格納されたスライスセグメント前データと、取得されたスライスセグメントのデータとを結合することで、ステップS206で決定された復号部への入力データを生成する(S207)。
Next, the decoding
ステップS204又はS207の後、受信パケットのデータがアクセスユニットの最終データでない場合(S208でNo)、ステップS201以降の処理が再度行われる。つまり、アクセスユニットに含まれる全てのスライスセグメントに対応する、複数の復号部204A~204Dへの入力データが生成されるまで、上記処理が繰り返される。
After step S204 or S207, if the data of the received packet is not the final data of the access unit (No in S208), the processing after step S201 is performed again. That is, the above process is repeated until the input data to the plurality of
なお、パケットが受信されるタイミングは、図16に示すタイミングに限らず、予め又は順次複数のパケットが受信され、メモリ等に格納されてもよい。 The timing at which the packets are received is not limited to the timing shown in FIG. 16, and a plurality of packets may be received in advance or sequentially and stored in a memory or the like.
一方、受信パケットのデータがアクセスユニットの最終データである場合(S208でYes)、復号命令部206は、ステップS207で生成された、複数の入力データを、対応する復号部204A~204Dへ出力する(S209)。
On the other hand, when the data of the received packet is the final data of the access unit (Yes in S208), the
次に、複数の復号部204A~204Dは、アクセスユニットのDTSに従い、複数の入力データを並列に復号することで、複数の復号画像を生成する(S210)。
Next, the plurality of
最後に、表示部205は、複数の復号部204A~204Dで生成された複数の復号画像を結合することで表示画像を生成し、アクセスユニットのPTSに従い当該表示画像を表示する(S211)。
Finally, the
なお、受信装置200は、アクセスユニットのDTS及びPTSを、MPUのヘッダ情報、又は、Movie Fragmentのヘッダ情報を格納するMMTパケットのペイロードデータを解析することにより取得する。また、受信装置200は、多重化方式としてTSが使用されている場合にはPESパケットのヘッダからアクセスユニットのDTS及びPTSを取得する。受信装置200は、多重化方式としてRTPが使用されている場合にはRTPパケットのヘッダからアクセスユニットのDTS及びPTSを取得する。
The receiving
また、表示部205は、複数の復号部の復号結果を統合する際に、隣接する分割単位の境界においてデブロックフィルタなどのフィルタ処理を行ってもよい。なお、単一の復号部の復号結果を表示する場合にはフィルタ処理は不要であるため、表示部205は、複数の復号部の復号結果の境界にフィルタ処理を行うかどうかに応じて処理を切替えてもよい。フィルタ処理が必要かどうかは、分割の有無などに応じて予め規定されていてもよい。または、フィルタ処理が必要かどうかを示す情報が、多重化レイヤに別途格納されてもよい。また、フィルタ係数などフィルタ処理に必要な情報は、SPS、PPS、SEI、又はスライスセグメント内に格納される場合がある。復号部204A~204D、又は逆多重化部203がSEIを解析することによりこれらの情報を取得し、取得された情報を表示部205に出力する。表示部205は、これらの情報を用いてフィルタ処理を行う。なお、これらの情報がスライスセグメント内に格納される場合には、復号部204A~204Dがこれらの情報を取得することが望ましい。
Further, the
なお、上記説明では、フラグメントに格納されるデータの種類がスライスセグメント前データとスライスセグメントとの2種類である場合の例を示したが、データの種類は3種類以上であってもよい。この場合には、ステップS203においてタイプに応じた場合分けが行われる。 In the above description, an example is shown in which the types of data stored in the fragment are two types, the pre-slice segment data and the slice segment, but the data types may be three or more. In this case, the case classification according to the type is performed in step S203.
また、送信装置100は、スライスセグメントのデータサイズが大きい場合にスライスセグメントをフラグメント化してMMTパケットに格納してもよい。つまり、送信装置100は、スライスセグメント前データ及びスライスセグメントをフラグメント化してもよい。この場合に、図11に示したパケット化の例のようにアクセスユニットとData unitとを等しく設定すると以下の問題が生じる。
Further, the
例えばスライスセグメント1が3つのフラグメントに分割される場合、スライスセグメント1がFragment counter値が1から3の3つのパケットに分割して送信される。また、スライスセグメント2以降では、Fragment counter値が4以上となり、Fragment counterの値とペイロードに格納されるデータとの対応付けが取れなくなる。従って、受信装置200は、MMTパケットのヘッダの情報から、スライスセグメントの先頭データを格納するパケットを特定できない。
For example, when the
このような場合には、受信装置200は、MMTパケットのペイロードのデータを解析して、スライスセグメントの開始位置を特定してもよい。ここで、H.264又はH.265においてNALユニットを多重化レイヤに格納する形式として、NALユニットヘッダの直前に特定のビット列からなるスタートコードが付加されるバイトストリームフォーマットと呼ばれる形式と、NALユニットのサイズを示すフィールドが付加されるNALサイズフォーマットと呼ばれる形式との2種類がある。
In such a case, the receiving
バイトストリームフォーマットは、MPEG-2システム及びRTPなどにおいて用いられる。NALサイズフォーマットは、MP4、並びにMP4を使用するDASH及びMMTなどにおいて用いられる。 The byte stream format is used in MPEG-2 systems and RTPs and the like. The NAL size format is used in MP4, as well as DASH and MMT using MP4.
バイトストリームフォーマットが用いられる場合、受信装置200は、パケットの先頭データがスタートコードと一致するかどうかを解析する。受信装置200は、パケットの先頭データがスタートコードと一致していれば、その後に続くNALユニットヘッダからNALユニットのタイプを取得することで、当該パケットに含まれるデータがスライスセグメントのデータであるかどうかを検出できる。
When the byte stream format is used, the receiving
一方、NALサイズフォーマットの場合には、受信装置200は、ビット列に基づいてNALユニットの開始位置を検出できない。従って、受信装置200は、NALユニットの開始位置を取得するために、アクセスユニットの先頭NALユニットから順に、NALユニットのサイズ分だけデータの読出すことでポインタをシフトさせていく必要がある。
On the other hand, in the case of the NAL size format, the receiving
但し、MMTにおけるMPU又はMovie Fragmentのヘッダにおいて、サブサンプル単位のサイズが示され、サブサンプルがスライス前データ又はスライスセグメントに対応する場合には、受信装置200は、サブサンプルのサイズ情報に基づいて各NALユニットの開始位置を特定できる。そのため、送信装置100は、サブサンプル単位の情報がMPU又はMovie Fragmentに存在するかどうかを示す情報を、MMTにおけるMPTなどの、受信装置200がデータの受信開始時に取得する情報に含めてもよい。
However, if the size of the subsample unit is indicated in the header of the MPU or Movie Fragment in the MMT and the subsample corresponds to the pre-slice data or the slice segment, the receiving
なお、MPUのデータはMP4フォーマットをベースに拡張したものである。MP4においては、H.264又はH.265のSPS及びPPSなどのパラメータセットをサンプルデータとして格納可能なモードと、格納できないモードとがある。また、このモードを特定するための情報がSampleEntryのエントリ名として示される。格納可能なモードが用いられており、パラメータセットがサンプルに含まれる場合には、受信装置200は、上述した方法によりパラメータセットを取得する。
The MPU data is an extension based on the MP4 format. In MP4, H. 264 or H. There is a mode in which the parameter set such as 265 SPS and PPS can be stored as sample data, and a mode in which the parameter set cannot be stored. In addition, information for identifying this mode is shown as the entry name of SampleEntry. When a storable mode is used and the parameter set is included in the sample, the receiving
一方、格納できないモードが用いられている場合には、パラメータセットは、SampleEntry内のDecoder Specific Informationとして格納される、又は、パラメータセット用のストリームを用いて格納される。ここで、パラメータセット用のストリームは一般的には使用されていないので、送信装置100は、Decoder Specific Informationにパラメータセットを格納することが望ましい。この場合には、受信装置200は、MMTパケットにおいてMPUのメタデータ、又は、Movie Fragmentのメタデータとしてとして送信されるSampleEntryを解析して、アクセスユニットが参照するパラメータセットを取得する。
On the other hand, when the non-storable mode is used, the parameter set is stored as a Decoder Specific Information in SampleEntry, or is stored using a stream for the parameter set. Here, since the stream for the parameter set is not generally used, it is desirable that the transmitting
パラメータセットがサンプルデータとして格納される場合には、受信装置200は、SampleEntryを参照せずにサンプルデータのみを参照すれば復号に必要なパラメータセットが取得できる。このとき、送信装置100は、SampleEntryにパラメータセットを格納しなくてもよい。こうすることで、送信装置100は、異なるMPUにおいて同一のSampleEntryを用いることができるので、MPU生成時の送信装置100の処理負荷を低減できる。さらに、受信装置200がSampleEntry内のパラメータセットを参照する必要がなくなるというメリットがある。
When the parameter set is stored as sample data, the receiving
または、送信装置100は、SampleEntryにデフォルトのパラメータセットを1つ格納し、アクセスユニットが参照するパラメータセットをサンプルデータに格納してもよい。従来のMP4においては、SampleEntryにパラメータセットを格納するのが一般的であったため、SampleEntryにパラメータセットが存在しない場合、再生を停止する受信装置が存在する可能性がある。上記の方法を用いることで、この問題を解決できる。
Alternatively, the
または、送信装置100は、デフォルトのパラメータセットとは異なるパラメータセットが使用される場合にのみ、サンプルデータにパラメータセットを格納してもよい。
Alternatively, the
なお、両モード共に、パラメータセットをSampleEntryに格納することは可能であるため、送信装置100は、パラメータセットを常にVisualSampleEntryに格納し、受信装置200は常にVisualSampleEntryからパラメータセットを取得してもよい。
Since it is possible to store the parameter set in the SampleEntry in both modes, the transmitting
なお、MMT規格においては、Moov及びMoofなどMP4のヘッダ情報は、MPUメタデータ、或いはムービーフラグメントメタデータとして伝送されるが、送信装置100は、MPUメタデータ、および、ムービーフラグメントメタデータを必ずしも送信しなくてもよい。さらに、受信装置200は、ARIB(Association of Radio Industries and Businesses)規格のサービス、アセットのタイプ、又は、MPUメタの伝送有無などに基づいて、サンプルデータ内にSPS及びPPSが格納されるかどうかを判定することも可能である。
In the MMT standard, the header information of MP4 such as Moov and Moof is transmitted as MPU metadata or movie fragment metadata, but the
図17は、スライスセグメント前データ及び各スライスセグメントが、それぞれ異なるData unitに設定される場合の例を示す図である。 FIG. 17 is a diagram showing an example in which the pre-slice segment data and each slice segment are set to different Data units.
図17に示す例では、スライスセグメント前データ、及びスライスセグメント1からスライスセグメント4までのデータサイズは、それぞれLength#1からLength#5である。MMTパケットのヘッダに含まれるFragmentation indicator、Fragment counter、及び、Offsetの各フィールド値は図中に示す通りである。
In the example shown in FIG. 17, the pre-slice segment data and the data sizes from
ここで、Offsetは、ペイロードデータが属するサンプル(アクセスユニット又はピクチャ)の符号化データの先頭から、当該MMTパケットに含まれるペイロードデータ(符号化データ)の先頭バイトまでのビット長(オフセット)を示すオフセット情報である。なお、Fragment counterの値はフラグメントの総数から1を減算した値から開始するとして説明するが、他の値から開始してもよい。 Here, Offset indicates the bit length (offset) from the beginning of the coded data of the sample (access unit or picture) to which the payload data belongs to the first byte of the payload data (encoded data) included in the MMT packet. Offset information. Although the Fragment counter value is described as starting from a value obtained by subtracting 1 from the total number of fragments, it may start from another value.
図18は、Data unitがフラグメント化される場合の例を示す図である。図18に示す例では、スライスセグメント1が3つのフラグメントに分割され、それぞれMMTパケット#2からMMTパケット#4に格納される。このときも、各フラグメントのデータサイズを、それぞれLength#2_1からLength#2_3とすると、各フィールドの値は図中に示す通りである。
FIG. 18 is a diagram showing an example when the Data unit is fragmented. In the example shown in FIG. 18, the
このように、スライスセグメントなどのデータ単位がData unitに設定される場合、アクセスユニットの先頭、及びスライスセグメントの先頭は、MMTパケットヘッダのフィールド値に基づいて以下のように決定できる。 As described above, when the data unit such as the slice segment is set to Data unit, the head of the access unit and the head of the slice segment can be determined as follows based on the field value of the MMT packet header.
Offsetの値が0であるパケットにおけるペイロードの先頭は、アクセスユニットの先頭である。 The head of the payload in the packet in which the value of Offset is 0 is the head of the access unit.
Offsetの値が0とは異なる値であり、かつ、Fragmentation indcatorno値が00又は01であるパケットのペイロードの先頭が、スライスセグメントの先頭である。 The beginning of the payload of the packet in which the value of Offset is different from 0 and the Fragmentation indicator value is 00 or 01 is the beginning of the slice segment.
また、Data unitのフラグメント化が発生せず、パケットロスも発生しない場合には、受信装置200は、アクセスユニットの先頭を検出した後に取得したスライスセグメントの数に基づいて、MMTパケットに格納されるスライスセグメントのインデックス番号を特定できる。
Further, when the data unit fragmentation does not occur and the packet loss does not occur, the receiving
また、スライスセグメント前データのData unitがフラグメント化される場合においても、同様に、受信装置200は、アクセスユニット、及びスライスセグメントの先頭を検出できる。
Further, even when the Data unit of the data before the slice segment is fragmented, the receiving
また、パケットロスが発生した場合、又は、スライスセグメント前データに含まれるSPS、PPS及びSEIが別々のData unitに設定された場合においても、受信装置200は、MMTヘッダの解析結果に基づいてスライスセグメントの先頭データを格納したMMTパケットを特定し、その後、スライスセグメントのヘッダを解析することで、ピクチャ(アクセスユニット)内におけるスライスセグメント又はタイルの開始位置を特定できる。スライスヘッダの解析に係る処理量は小さく、処理負荷は問題とならない。
Further, even when packet loss occurs or when SPS, PPS and SEI included in the pre-slice segment data are set to different Data units, the receiving
このように、複数のスライスセグメントの複数の符号化データの各々は、1以上のパケットに格納されるデータの単位である基本データ単位(Data unit)と一対一で対応付けられている。また、複数の符号化データの各々は、1以上のMMTパケットに格納される。 As described above, each of the plurality of coded data of the plurality of slice segments is associated one-to-one with the basic data unit (Data unit) which is a unit of data stored in one or more packets. Further, each of the plurality of coded data is stored in one or more MMT packets.
各MMTパケットのヘッダ情報は、Fragmentation indicator(識別情報)及びOffset(オフセット情報)を含む。 The header information of each MMT packet includes Fragmentation indicator (identification information) and Offset (offset information).
受信装置200は、受信装置200は、値が00又は01であるFragmentation indicatorが含まれるヘッダ情報を有するパケットに含まれるペイロードデータの先頭を、各スライスセグメントの符号化データの先頭であると判定する。具体的には、値が0でないOffsetと、値が00又は01であるFragmentation indicatorとが含まれるヘッダ情報を有するパケットに含まれるペイロードデータの先頭を、各スライスセグメントの符号化データの先頭であると判定する。
The receiving
また、図17の例では、Data unitの先頭は、アクセスユニットの先頭、又は、スライスセグメントの先頭のいずれかであり、Fragmentation indicatorの値は00又は01である。さらに、受信装置200は、NALユニットのタイプを参照して、Data Unitの先頭がアクセスユニットデリミタ、又は、スライスセグメントのどちらであるかを判定することで、Offsetを参照せずに、アクセスユニットの先頭、又は、スライスセグメントの先頭を検出することも可能である。
Further, in the example of FIG. 17, the head of the Data unit is either the head of the access unit or the head of the slice segment, and the value of the Fragmentation indicator is 00 or 01. Further, the receiving
このように、送信装置100が、NALユニットの先頭が必ずMMTパケットのペイロードの先頭から開始されるようにパケット化を行うことで、スライスセグメント前データが複数のData unitに分割される場合も含めて、受信装置200は、Fragmentation indicator及びNALユニットヘッダを解析することにより、アクセスユニット、又は、スライスセグメントの先頭を検出できる。NALユニットのタイプは、NALユニットヘッダの先頭バイトに存在する。従って、受信装置200は、MMTパケットのヘッダ部を解析する際に、追加で1バイト分のデータを解析することによりNALユニットのタイプが取得できる。オーディオの場合には、受信装置200は、アクセスユニットの先頭が検出できればよく、Fragmentation indicatorの値が00又は01であるかどうかに基づいて判定すればよい。
In this way, the transmitting
また、上述したように、分割復号ができるように符号化された符号化データをMPEG-2 TSのPESパケットに格納する場合には、送信装置100は、data alignment記述子を用いることが可能である。以下、符号化データのPESパケットへの格納方法の例について詳細に説明する。
Further, as described above, when the coded data encoded so as to be able to be divided and decoded is stored in the PES packet of the MPEG-2 TS, the transmitting
例えば、HEVCにおいては、送信装置100は、data alignment記述子を用いることにより、PESパケットに格納されるデータがアクセスユニット、スライスセグメント、及び、タイルのいずれであるかを示すことができる。HEVCにおけるアラインメントのタイプは、次のように規定されている。
For example, in HEVC, the transmitting
アラインメントのタイプ=8は、HEVCのスライスセグメントを示す。アラインメントのタイプ=9は、HEVCのスライスセグメント又はアクセスユニットを示す。アラインメントのタイプ=12は、HEVCのスライスセグメント又はタイルを示す。 Alignment type = 8 indicates a slice segment of HEVC. Alignment type = 9 indicates a slice segment or access unit of HEVC. Alignment type = 12 indicates a slice segment or tile of HEVC.
よって、送信装置100は、例えば、タイプ9を用いることで、PESパケットのデータがスライスセグメント又はスライスセグメント前データのいずれかであることを示すことができる。スライスセグメントではなく、スライスを示すタイプも別途規定されているため、送信装置100は、スライスセグメントではなくスライスを示すタイプを使用してもよい。
Therefore, the transmitting
また、PESパケットのヘッダに含まれるDTS及びPTSは、アクセスユニットの先頭データを含むPESパケットにおいてのみ設定される。従って、受信装置200は、タイプが9であり、かつ、PESパケットにDTS又はPTSのフィールドが存在すれば、PESパケットにはアクセスユニット全体、又は、アクセスユニットにおける先頭の分割単位が格納されると判定できる。
Further, the DTS and PTS included in the header of the PES packet are set only in the PES packet including the head data of the access unit. Therefore, if the receiving
また、送信装置100は、アクセスユニットの先頭データを含むPESパケットを格納するTSパケットの優先度を示すtransport_priorityなどのフィールドを用いて、受信装置200がパケットに含まれるデータを区別できるようにしてもよい。また、受信装置200は、PESパケットのペイロードがアクセスユニットデリミタであるかどうかを解析することでパケットに含まれるデータを判定してもよい。また、PESパケットヘッダのdata_alignment_indicatorは、これらのタイプに従ってPESパケットにデータが格納されているかどうかを示す。このフラグ(data_alignment_indicator)が1にセットされていれば、PESパケットに格納されているデータはdata alignment記述子に示されるタイプに従うことが保証される。
Further, even if the transmitting
また、送信装置100は、スライスセグメントなどの分割復号可能な単位でPESパケット化する場合にのみdata alignment記述子を使用してもよい。これにより、受信装置200は、data alignment記述子が存在する場合には、符号化データが分割復号可能な単位でPESパケット化されていると判断でき、data alignment記述子が存在しなければ、符号化データがアクセスユニット単位でPESパケット化されていると判断できる。なお、data_alignment_indicatorが1にセットされており、data alignment記述子が存在しない場合には、PESパケット化の単位がアクセスユニットであることはMPEG-2 TS規格において規定されている。
Further, the
受信装置200は、PMT内にdata alignment記述子が含まれていれば、分割復号可能な単位でPESパケット化されていると判定し、パケット化された単位に基づいて、各復号部への入力データを生成することができる。また、受信装置200は、PMT内にdata alignment記述子が含まれておらず、番組情報、又はその他の記述子の情報に基づいて、符号化データの並列復号が必要と判定される場合には、スライスセグメントのスライスヘッダなどを解析することにより、各復号部への入力データを生成する。また、符号化データを単一の復号部により復号可能である場合には、受信装置200は、アクセスユニット全体のデータを当該の復号部で復号する。なお、符号化データがスライスセグメント又はタイルなどの分割復号可能な単位から構成されるかどうかを示す情報が、PMTの記述子などにより別途示されている場合、受信装置200は、当該記述子の解析結果に基づいて符号化データを並列復号できるかどうかを判定してもよい。
If the data alignment descriptor is included in the PMT, the receiving
また、PESパケットのヘッダに含まれるDTS及びPTSは、アクセスユニットの先頭データを含むPESパケットにおいてのみ設定されるため、アクセスユニットが分割されてPESパケット化される場合には、2番目以降のPESパケットにはアクセスユニットのDTS及びPTSを示す情報は含まれない。従って、復号処理を並列に行う場合、各復号部204A~204D及び表示部205は、アクセスユニットの先頭データを含むPESパケットのヘッダに格納されるDTS及びPTSを使用する。
Further, since the DTS and PTS included in the header of the PES packet are set only in the PES packet including the head data of the access unit, when the access unit is divided into PES packets, the second and subsequent PESs are set. The packet does not contain information indicating the DTS and PTS of the access unit. Therefore, when the decoding processes are performed in parallel, the
(実施の形態2)
実施の形態2では、MMTにおいて、NALサイズフォーマットのデータをMP4フォーマットベースのMPUに格納する方法について説明する。なお、以下では、一例として、MMTに用いられるMPUへの格納方法について説明するが、このような格納方法は、同じMP4フォーマットベースであるDASHにも適用可能である。
(Embodiment 2)
In the second embodiment, a method of storing NAL size format data in an MP4 format-based MPU in MMT will be described. In the following, a storage method in the MPU used for MMT will be described as an example, but such a storage method can also be applied to DASH, which is the same MP4 format base.
[MPUへの格納方法]
MP4フォーマットでは、複数のアクセスユニットをまとめて、一つのMP4ファイルに格納する。MMTに用いられるMPUは、メディア毎のデータが一つのMP4ファイルに格納され、データには任意の数のアクセスユニットを含むことができる。MPUは、単体で復号可能な単位であるため、例えば、MPUにはGOP単位のアクセスユニットが格納される。
[How to store in MPU]
In the MP4 format, a plurality of access units are collectively stored in one MP4 file. In the MPU used for MMT, data for each medium is stored in one MP4 file, and the data can include any number of access units. Since the MPU is a unit that can be decoded by itself, for example, an access unit in the GOP unit is stored in the MPU.
図19は、MPUの構成を示す図である。MPUの先頭は、ftyp、mmpu、及びmoovであり、これらは、まとめてMPUメタデータと定義される。moovには、ファイルに共通の初期化情報、及びMMTヒントトラックが格納される。 FIG. 19 is a diagram showing the configuration of the MPU. The head of the MPU is ftyp, mmpu, and moov, which are collectively defined as MPU metadata. Initialization information common to files and MMT hint tracks are stored in moov.
また、moofには、サンプルやサブサンプル毎の初期化情報及びサイズ、提示時刻(PTS)及び復号時刻(DTS)を特定できる情報(sample_duration、sample_size、sample_composition_time_offset)、並びにデータの位置を示すdata_offsetなどが格納される。 Further, in the moof, initialization information and size for each sample or subsample, information that can specify the presentation time (PTS) and the decoding time (DTS) (sample_duration, sample_size, sample_composition_time_offset), data_offset indicating the position of the data, and the like are included. Stored.
また、複数のアクセスユニットは、それぞれサンプルとしてmdat(mdat box)に格納される。moof及びmdatのうちサンプルを除くデータは、ムービーフラグメントメタデータ(以降では、MFメタデータと記載する。)と定義され、mdatのサンプルデータは、メディアデータと定義される。 Further, each of the plurality of access units is stored in mdat (mdat box) as a sample. The data of moof and mdat excluding the sample is defined as movie fragment metadata (hereinafter referred to as MF metadata), and the sample data of mdat is defined as media data.
図20は、MFメタデータの構成を示す図である。図20に示されるように、MFメタデータは、より詳細には、moof box(moof)の、type、length、及びdataと、mdat box(mdat)のtype及びlengthとからなる。 FIG. 20 is a diagram showing the structure of MF metadata. As shown in FIG. 20, the MF metadata consists more specifically of the moof box (moof), type, lens, and data, and the mdat box (mdat) type and lens.
アクセスユニットをMP4データに格納する際には、H.264やH.265のSPS、及び、PPSなどのパラメータセットをサンプルデータとして格納可能なモードと、格納できないモードがある。 When storing the access unit in MP4 data, H. 264 and H. There is a mode in which the parameter set such as 265 SPS and PPS can be stored as sample data, and a mode in which the parameter set cannot be stored.
ここで、上記格納できないモードにおいては、パラメータセットは、moovにおけるSampleEntryのDecoder Specific Informationに格納される。また、上記格納できるモードにおいては、パラメータセットは、サンプル内に含められる。 Here, in the above-mentioned non-storable mode, the parameter set is stored in the Decoder Specific Information of Sample Entry in moov. Further, in the above-mentioned storable mode, the parameter set is included in the sample.
MPUメタデータ、MFメタデータ、及びメディアデータは、それぞれMMTペイロードに格納され、これらのデータを識別可能な識別子として、MMTペイロードのヘッダには、フラグメントタイプ(FT)が格納される。FT=0は、MPUメタデータであることを示し、FT=1は、MFメタデータであることを示し、FT=2はメディアデータであることを示す。 The MPU metadata, MF metadata, and media data are each stored in the MMT payload, and the fragment type (FT) is stored in the header of the MMT payload as an identifier that can identify these data. FT = 0 indicates that it is MPU metadata, FT = 1 indicates that it is MF metadata, and FT = 2 indicates that it is media data.
なお、図19では、MPUメタデータ単位及びMFメタデータ単位がデータユニットとしてMMTペイロードに格納される例が図示されているが、ftyp、mmpu、moov、及びmoofなどの単位がデータユニットとして、データユニット単位でMMTペイロードに格納されてもよい。同様に、図19では、サンプル単位がデータユニットとしてMMTペイロードに格納される例が図示されている。しかしながら、サンプル単位やNALユニット単位でデータユニットが構成され、このようなデータユニットがデータユニット単位でMMTペイロードに格納されてもよい。このようなデータユニットがさらにフラグメントされた単位でMMTペイロードに格納されてもよい。 In FIG. 19, an example in which the MPU metadata unit and the MF metadata unit are stored in the MMT payload as a data unit is shown, but units such as ftyp, mmpu, moov, and moof are data as a data unit. It may be stored in the MMT payload on a unit-by-unit basis. Similarly, FIG. 19 illustrates an example in which a sample unit is stored in the MMT payload as a data unit. However, data units may be configured in sample units or NAL unit units, and such data units may be stored in the MMT payload in data unit units. Such data units may be further stored in the MMT payload in fragmented units.
[従来の送信方法と課題]
従来、複数のアクセスユニットをMP4フォーマットにカプセル化する際、MP4に格納されるサンプルがすべて揃った時点でmoov及びmoofが作成されていた。
[Conventional transmission method and issues]
Conventionally, when encapsulating a plurality of access units in the MP4 format, moov and moof are created when all the samples stored in MP4 are prepared.
MP4フォーマットを放送などを用いてリアルタイムに伝送する場合、例えば1つのMP4ファイルに格納するサンプルがGOP単位であるとすると、GOP単位の時間サンプルが蓄積された後にmoov及びmoofが作成されるため、カプセル化に伴う遅延が発生する。このような送信側におけるカプセル化により、End-to-End遅延が常にGOP単位時間分長くなる。これにより、リアルタイムにサービスの提供を行うことが困難となり、特に、ライブコンテンツが伝送される場合には視聴者に対するサービスの劣化につながる。 When transmitting the MP4 format in real time by broadcasting or the like, for example, if the sample stored in one MP4 file is in GOP unit, moov and moof are created after the time sample in GOP unit is accumulated. There is a delay associated with encapsulation. Due to such encapsulation on the transmitting side, the End-to-End delay is always increased by the GOP unit time. This makes it difficult to provide services in real time, and in particular, when live content is transmitted, it leads to deterioration of services for viewers.
図21は、データの送信順序を説明するための図である。MMTを放送に適用する場合、図21の(a)に示されるように、MPUの構成順にMMTパケットに載せて送信(MMTパケット#1、#2、#3、#4、#5、#6の順に送信)すると、MMTパケットの送信にはカプセル化による遅延が生じる。
FIG. 21 is a diagram for explaining a data transmission order. When MMT is applied to broadcasting, as shown in FIG. 21 (a), it is transmitted by being placed on MMT packets in the order of MPU configuration (
このカプセル化による遅延を防ぐために、図21の(b)に示されるように、MPUメタデータ及びMFメタデータなどのMPUヘッダ情報を送らない(パケット#1及び#2を送信せず、パケット#3-#6をこの順に送信する)方法が提案されている。また、図20の(c)に示されるように、MPUヘッダ情報の作成を待たずにメディアデータを先に送信し、メディアデータの送信後にMPUヘッダ情報を送信する(#3-#6、#1、#2の順で送信する)方法が考えられる。
In order to prevent the delay due to this encapsulation, as shown in FIG. 21 (b), MPU header information such as MPU metadata and MF metadata is not transmitted (
受信装置は、MPUヘッダ情報が送信されていない場合、MPUヘッダ情報を用いずに復号する、また、受信装置は、MPUヘッダ情報がメディアデータに対して後送りされている場合には、MPUヘッダ情報の取得を待ってから復号する。 The receiving device decodes the MPU header information without using the MPU header information when the MPU header information is not transmitted, and the receiving device decodes the MPU header information when the MPU header information is postponed to the media data. Wait for the information to be obtained before decrypting.
しかしながら、従来のMP4準拠の受信装置では、MPUヘッダ情報を用いずに復号することが保証されていない。また、受信装置が特別な処理によりMPUヘッダを用いずに復号を行う場合に従来の送信方法を用いると復号処理が煩雑となり、実時間の復号が困難となる可能性が高い。また、受信装置がMPUヘッダ情報の取得を待ってから復号を行う場合には、受信装置がヘッダ情報を取得するまでの間メディアデータのバッファリングが必要であるが、バッファモデルが規定されておらず、復号が保証されていなかった。 However, the conventional MP4 compliant receiving device is not guaranteed to decode without using the MPU header information. Further, when the receiving device performs decoding by special processing without using the MPU header, if the conventional transmission method is used, the decoding process becomes complicated and there is a high possibility that real-time decoding becomes difficult. Further, when the receiving device waits for the acquisition of the MPU header information and then decodes it, it is necessary to buffer the media data until the receiving device acquires the header information. No decryption was guaranteed.
そこで、実施の形態2に係る送信装置は、図20の(d)に示されるように、MPUメタデータに共通の情報のみを格納することで、MPUメタデータをメディアデータより先に送信する。そして、実施の形態2に係る送信装置は、生成に遅延が発生するMFメタデータをメディアデータより後に送信する。これにより、メディアデータの復号を保証できる送信方法或いは受信方法を提供する。 Therefore, as shown in FIG. 20D, the transmission device according to the second embodiment transmits the MPU metadata before the media data by storing only the information common to the MPU metadata. Then, the transmission device according to the second embodiment transmits the MF metadata in which the generation is delayed after the media data. This provides a transmission method or a reception method that can guarantee the decoding of media data.
以下、図21の(a)-(d)の各送信方法を用いた場合の受信方法について説明する。 Hereinafter, the receiving method when each of the transmission methods (a) to (d) of FIG. 21 is used will be described.
図21に示される各送信方法では、まず、MPUメタデータ、MFUメタデータ、メディアデータの順にMPUデータを構成する。 In each transmission method shown in FIG. 21, first, MPU metadata, MFU metadata, and media data are configured in this order.
MPUデータを構成した後、送信装置が図21の(a)に示されるように、MPUメタデータ、MFメタデータ、メディアデータの順にデータを送信する場合、受信装置は、下記の(A-1)及び(A-2)のいずれかの方法で復号を行うことができる。 After configuring the MPU data, when the transmitting device transmits data in the order of MPU metadata, MF metadata, and media data as shown in FIG. 21 (a), the receiving device uses the following (A-1). ) And (A-2) can be used for decoding.
(A-1)受信装置は、MPUヘッダ情報(MPUメタデータ及びMFメタデータ)を取得後、MPUヘッダ情報を用いてメディアデータを復号する。 (A-1) The receiving device acquires the MPU header information (MPU metadata and MF metadata), and then decodes the media data using the MPU header information.
(A-2)受信装置は、MPUヘッダ情報を用いずに、メディアデータを復号する。 (A-2) The receiving device decodes the media data without using the MPU header information.
このような方法はいずれも、送信側でカプセル化による遅延が発生するが、受信装置において、MPUヘッダ取得のためにメディアデータをバッファリングする必要がない利点がある。バッファリングをしない場合、バッファリングのためのメモリの搭載の必要はなく、さらにバッファリング遅延は発生しない。また、(A-1)の方法は、MPUヘッダ情報を用いて復号を行うため、従来の受信装置にも適用可能ある。 All of these methods cause a delay due to encapsulation on the transmitting side, but have the advantage that the receiving device does not need to buffer the media data in order to acquire the MPU header. When buffering is not performed, it is not necessary to install a memory for buffering, and no buffering delay occurs. Further, since the method (A-1) performs decoding using the MPU header information, it can also be applied to a conventional receiving device.
送信装置が図21の(b)に示されるように、メディアデータのみを送信する場合、受信装置は下記の(B-1)の方法で復号を行うことができる。 When the transmitting device transmits only the media data as shown in FIG. 21 (b), the receiving device can perform decoding by the method of (B-1) below.
(B-1)受信装置は、MPUヘッダ情報を用いずに、メディアデータを復号する。 (B-1) The receiving device decodes the media data without using the MPU header information.
また、図示しないが、図21の(b)のメディアデータの送信よりも先にMPUメタデータが送信されている場合、下記の(B-2)の方法で復号を行うことができる。 Further, although not shown, when the MPU metadata is transmitted before the transmission of the media data in FIG. 21 (b), the decoding can be performed by the method (B-2) below.
(B-2)受信装置は、MPUメタデータを用いてメディアデータを復号する。 (B-2) The receiving device decodes the media data using the MPU metadata.
上記(B-1)及び(B-2)の方法はいずれも、送信側でカプセル化による遅延が発生せず、かつ、MPUヘッダ取得のためにメディアデータをバッファリングする必要がない点が利点である。しかしながら、(B-1)及び(B-2)の方法はいずれも、MPUヘッダ情報を用いた復号を行わないため、復号に特別な処理が必要となる可能性がある。 Both of the above methods (B-1) and (B-2) have advantages in that there is no delay due to encapsulation on the transmitting side and there is no need to buffer media data for acquiring the MPU header. Is. However, since neither of the methods (B-1) and (B-2) perform decoding using the MPU header information, special processing may be required for decoding.
送信装置が図21の(c)に示されるように、メディアデータ、MPUメタデータ、MFメタデータの順にデータを送信する場合、受信装置は下記の(C-1)及び(C-2)のいずれかの方法で復号を行うことができる。 When the transmitting device transmits data in the order of media data, MPU metadata, and MF metadata as shown in (c) of FIG. 21, the receiving device has the following (C-1) and (C-2). Decryption can be performed by either method.
(C-1)受信装置は、MPUヘッダ情報(MPUメタデータ及びMFメタデータ)を取得後、メディアデータを復号する。 (C-1) The receiving device decodes the media data after acquiring the MPU header information (MPU metadata and MF metadata).
(C-2)受信装置は、MPUヘッダ情報を用いずに、メディアデータを復号する。 (C-2) The receiving device decodes the media data without using the MPU header information.
上記(C-1)の方法が用いられる場合は、MPUヘッダ情報の取得のためにメディアデータをバッファリングする必要がある。これに対し、上記(C-2)の方法が用いられる場合は、MPUヘッダ情報の取得のためのバッファリングを行う必要はない。 When the above method (C-1) is used, it is necessary to buffer the media data in order to acquire the MPU header information. On the other hand, when the above method (C-2) is used, it is not necessary to perform buffering for acquiring MPU header information.
また、上記(C-1)及び(C-2)のいずれの方法も、送信側においてカプセル化による遅延は発生しない。また、(C-2)の方法は、MPUヘッダ情報を用いないため、特別な処理が必要となる可能性がある。 Further, in any of the above methods (C-1) and (C-2), no delay due to encapsulation occurs on the transmitting side. Further, since the method (C-2) does not use MPU header information, special processing may be required.
送信装置が、図21の(d)に示されるように、MPUメタデータ、メディアデータ、MFメタデータの順にデータを送信する場合、受信装置は、下記の(D-1)及び(D-2)のいずれかの方法で復号を行うことができる。 When the transmitting device transmits data in the order of MPU metadata, media data, and MF metadata as shown in (d) of FIG. 21, the receiving device has the following (D-1) and (D-2). ) Can be decrypted.
(D-1)受信装置は、MPUメタデータを取得後、さらにMFメタデータを取得し、その後、メディアデータを復号する。 (D-1) The receiving device acquires the MPU metadata, further acquires the MF metadata, and then decodes the media data.
(D-2)受信装置は、MPUメタデータを取得後、MFメタデータを用いずにメディアデータを復号する。 (D-2) After acquiring the MPU metadata, the receiving device decodes the media data without using the MF metadata.
上記(D-1)の方法が用いられる場合は、MFメタデータ取得のためにメディアデータをバッファリングする必要があるが、上記(D-2)の方法の場合は、MFメタデータ取得のためのバッファリングを行う必要はない。 When the above method (D-1) is used, it is necessary to buffer the media data for MF metadata acquisition, but in the case of the above (D-2) method, it is necessary to acquire MF metadata. There is no need to buffer.
上記(D-2)の方法は、MFメタデータを用いた復号を行わないため、特別な処理が必要となる可能性がある。 Since the above method (D-2) does not perform decoding using MF metadata, special processing may be required.
以上説明したように、MPUメタデータ及びMFメタデータを用いて復号できる場合は、従来のMP4受信装置でも復号できるというメリットがある。 As described above, if the MPU metadata and the MF metadata can be used for decoding, there is an advantage that the conventional MP4 receiving device can also be used for decoding.
なお、図21では、MPUデータは、MPUメタデータ、MFUメタデータ、メディアデータの順に構成されており、moofにおいては、この構成に基づいてサンプルやサブサンプル毎の位置情報(オフセット)が定められている。また、MFメタデータには、mdat boxにおけるメディアデータ以外のデータ(boxのサイズやタイプ)も含まれている。 In FIG. 21, the MPU data is composed of MPU metadata, MFU metadata, and media data in this order, and in moof, position information (offset) for each sample or subsample is determined based on this configuration. ing. The MF metadata also includes data (box size and type) other than the media data in the mdat box.
このため、受信装置がMFメタデータに基づいてメディアデータを特定する場合には、受信装置は、データが送信された順番にかかわらず、MPUデータを構成した際の順番にデータを再構成した後、MPUメタデータのmoov或いはMFメタデータのmoofを用いて復号を行う。 Therefore, when the receiving device identifies the media data based on the MF metadata, the receiving device reconstructs the data in the order in which the MPU data was configured, regardless of the order in which the data was transmitted. , MPU metadata moov or MF metadata moof is used for decoding.
なお、図21では、MPUデータは、MPUメタデータ、MFUメタデータ、メディアデータの順に構成されるが、図21とは異なる順番でMPUデータが構成され、位置情報(オフセット)が定められてもよい。 In FIG. 21, the MPU data is configured in the order of MPU metadata, MFU metadata, and media data, but even if the MPU data is configured in an order different from that of FIG. 21 and the position information (offset) is determined. good.
例えば、MPUデータがMPUメタデータ、メディアデータ、MFメタデータの順に構成され、MFメタデータにおいて負の位置情報(オフセット)が示されてもよい。この場合も、データが送信される順番にかかわらず、受信装置は、送信側においてMPUデータが構成された際の順番にデータを再構成した後、moov或いはmoofを用いて復号を行う。 For example, the MPU data may be configured in the order of MPU metadata, media data, and MF metadata, and negative position information (offset) may be shown in the MF metadata. In this case as well, regardless of the order in which the data is transmitted, the receiving device reconstructs the data in the order in which the MPU data is configured on the transmitting side, and then performs decoding using moov or moof.
なお、送信装置は、MPUデータを構成する際の順番を示す情報をシグナリングし、受信装置は、シグナリングされた情報に基づいてデータを再構成してもよい。 The transmitting device may signal information indicating the order in which the MPU data is configured, and the receiving device may reconstruct the data based on the signaled information.
以上説明したように、受信装置は、図21の(d)に示されるように、パケット化されたMPUメタデータ、パケット化されたメディアデータ(サンプルデータ)、パケット化されたMFメタデータをこの順に受信する。ここで、MPUメタデータは、第1のメタデータの一例であり、MFメタデータは、第2のメタデータの一例である。 As described above, the receiving device uses the packetized MPU metadata, the packetized media data (sample data), and the packetized MF metadata as shown in FIG. 21 (d). Receive in order. Here, the MPU metadata is an example of the first metadata, and the MF metadata is an example of the second metadata.
次に、受信装置は、受信されたMPUメタデータ、受信されたMFメタデータ、及び受信されたサンプルデータを含むMPUデータ(MP4フォーマットのファイル)を再構成する。そして、再構成されたMPUデータに含まれるサンプルデータを、MPUメタデータ及びMFメタデータを用いて復号する。MFメタデータは、送信側においてサンプルデータの生成後にのみ生成可能なデータ(例えば、mboxに格納されるlength)を含むメタデータである。 Next, the receiving device reconstructs the MPU data (MP4 format file) including the received MPU metadata, the received MF metadata, and the received sample data. Then, the sample data included in the reconstructed MPU data is decoded using the MPU metadata and the MF metadata. The MF metadata is metadata including data that can be generated only after the sample data is generated on the transmitting side (for example, the lens stored in the mbox).
なお、上記受信装置の動作は、より詳細には、受信装置を構成する各構成要素によって行われる。例えば、受信装置は、上記データの受信を行う受信部と、上記MPUデータの再構成を行う再構成部と、上記MPUデータの復号を行う復号部とを備える。なお、受信部、生成部、及び復号部のそれぞれは、マイクロコンピュータ、プロセッサ、専用回路などによって実現される。 More specifically, the operation of the receiving device is performed by each component constituting the receiving device. For example, the receiving device includes a receiving unit that receives the data, a reconstructing unit that reconstructs the MPU data, and a decoding unit that decodes the MPU data. Each of the receiving unit, the generating unit, and the decoding unit is realized by a microcomputer, a processor, a dedicated circuit, or the like.
[ヘッダ情報を用いずに復号を行う方法]
次に、ヘッダ情報を用いずに復号を行う方法について説明する。ここでは、送信側でヘッダ情報を送るか送らないかにかかわらず、受信装置においてヘッダ情報を用いずに復号する方法を説明する。すなわち、この方法は、図21を用いて説明したいずれの送信方法を用いた場合においても適用可能である。ただし、一部の復号方法は、特定の送信方法の場合にのみ適用可能な復号方法である。
[How to perform decryption without using header information]
Next, a method of performing decoding without using header information will be described. Here, a method of decoding without using the header information in the receiving device will be described regardless of whether the header information is sent or not on the transmitting side. That is, this method can be applied to any of the transmission methods described with reference to FIG. 21. However, some decoding methods are decryption methods that can be applied only in the case of a specific transmission method.
図22は、ヘッダ情報を用いずに復号を行う方法の例を示す図である。図22では、メディアデータのみが含まれるMMTペイロード及びMMTパケットのみが図示されており、MPUメタデータやMFメタデータが含まれるMMTペイロード及びMMTパケットは図示されていない。また、以下の図22の説明においては、同じMPUに属するメディアデータは連続して伝送されるものとする。また、メディアデータとしてペイロードにサンプルが格納されている場合を例に説明するが、以下の図22の説明においては、当然NALユニットが格納されていてもよいし、フラグメントされたNALユニットが格納されていてもよい。 FIG. 22 is a diagram showing an example of a method of performing decoding without using header information. In FIG. 22, only the MMT payload and the MMT packet containing only the media data are shown, and the MMT payload and the MMT packet containing the MPU metadata and the MF metadata are not shown. Further, in the following description of FIG. 22, it is assumed that the media data belonging to the same MPU is continuously transmitted. Further, a case where a sample is stored in the payload as media data will be described as an example, but in the following description of FIG. 22, a NAL unit may be stored as a matter of course, or a fragmented NAL unit is stored. May be.
メディアデータを復号するためには、受信装置は、まず、復号に必要な初期化情報を取得しなければならない。また、メディアがビデオであれば、受信装置は、サンプル毎の初期化情報を取得したり、ランダムアクセス単位であるMPUの開始位置を特定し、サンプル及びNALユニットの開始位置を取得しなければならない。また、受信装置は、それぞれサンプルの復号時刻(DTS)や提示時刻(PTS)を特定する必要がある。 In order to decode the media data, the receiving device must first acquire the initialization information required for decoding. Further, if the medium is video, the receiving device must acquire initialization information for each sample, specify the start position of the MPU which is a random access unit, and acquire the start position of the sample and the NAL unit. .. Further, the receiving device needs to specify the decoding time (DTS) and the presentation time (PTS) of the sample, respectively.
そこで、受信装置は、例えば、下記の方法を用いてヘッダ情報を用いずに復号を行うことができる。なお、ペイロードにNALユニット単位またはNALユニットをフラグメントした単位が格納される場合は、下記説明において「サンプル」を、「サンプルにおけるNALユニット」に読み替えればよい。 Therefore, the receiving device can perform decoding without using the header information by using, for example, the following method. When the NAL unit unit or the unit obtained by fragmenting the NAL unit is stored in the payload, "sample" may be read as "NAL unit in the sample" in the following description.
<ランダムアクセス(=MPUの先頭サンプルを特定)>
ヘッダ情報が送信されない場合に、受信装置がMPUの先頭サンプルを特定するには、下記方法1と方法2がある。なお、ヘッダ情報が送信される場合には、方法3を用いることができる。
<Random access (= specify the first sample of MPU)>
There are the following
[方法1]受信装置は、MMTパケットヘッダにおいて、’RAP_flag=1’であるMMTパケットに含まれるサンプルを取得する。 [Method 1] The receiving device acquires a sample included in the MMT packet having'RAP_flag = 1'in the MMT packet header.
[方法2]受信装置は、MMTペイロードヘッダにおいて、’sample number=0’であるサンプルを取得する。 [Method 2] The receiving device acquires a sample in which'simple number = 0'in the MMT payload header.
[方法3]受信装置は、メディアデータの前及び後ろの少なくともどちらか一方に、MPUメタデータ及びMFメタデータの少なくともどちらか一方が送信されている場合、受信装置は、MMTペイロードヘッダにおけるフラグメントタイプ(FT)がメディアデータへ切り替わったMMTペイロードに含まれるサンプルを取得する。 [Method 3] When the receiving device transmits at least one of the MPU metadata and the MF metadata to at least one of the front and the back of the media data, the receiving device is a fragment type in the MMT payload header. (FT) acquires the sample contained in the MMT payload switched to the media data.
なお、方法1及び方法2において、1つのペイロードに異なるMPUに属する複数のサンプルが混在する場合、どのNALユニットがランダムアクセスポイント(RAP_flag=1或いはsample number=0)であるか判定不能である。このため、1つのペイロードに異なるMPUのサンプルを混在させないといった制約、または、1つのペイロードに異なるMPUのサンプルが混在する場合は、最後(或いは最初)のサンプルがランダムアクセスポイントである場合に、RAP_flagを1とするといった制約などが必要である。
In
また、受信装置がNALユニットの開始位置を取得するためには、サンプルの先頭NALユニットから順に、NALユニットのサイズ分だけデータの読出しポインタをシフトさせていく必要がある。 Further, in order for the receiving device to acquire the start position of the NAL unit, it is necessary to shift the data read pointer by the size of the NAL unit in order from the head NAL unit of the sample.
データがフラグメントされている場合は、受信装置は、fragment_indicatorやfragment_numberを参照することで、データユニットを特定できる。 When the data is fragmented, the receiving device can identify the data unit by referring to the fragment_indicator or the fragment_number.
<サンプルのDTSの決定>
サンプルのDTSの決定方法には、下記方法1と方法2がある。
<DTS of sample determined>
There are the following
[方法1]受信装置は、予測構造に基づいて先頭サンプルのDTSを決定する。ただし、この方法には符号化データの解析が必要であり、実時間での復号が困難である可能性があるため、次の方法2が望ましい。
[Method 1] The receiving device determines the DTS of the leading sample based on the prediction structure. However, since this method requires analysis of coded data and may be difficult to decode in real time, the following
[方法2]受信装置は、先頭サンプルのDTSを別途送信し、送信された先頭サンプルのDTSを取得する。先頭サンプルのDTSの送信方法は、例えば、MPU先頭サンプルのDTSを、MMT-SIを用いて送信する方法や、サンプル毎のDTSをMMTパケットヘッダ拡張領域を用いて送信する方法などがある。なお、DTSは、絶対値でもよいし、PTSに対する相対値であってもよい。また、送信側において先頭サンプルのDTSが含まれているかどうかをシグナリングしてもよい。 [Method 2] The receiving device separately transmits the DTS of the head sample, and acquires the transmitted DTS of the head sample. As a method of transmitting the DTS of the first sample, for example, there are a method of transmitting the DTS of the MPU head sample using MMT-SI, a method of transmitting the DTS of each sample using the MMT packet header extension area, and the like. The DTS may be an absolute value or a relative value with respect to PTS. Further, it may be signaled on the transmitting side whether or not the DTS of the first sample is included.
なお、方法1、方法2ともに、以降のサンプルのDTSは、固定フレームレートであるとして算出する。
In both
サンプル毎のDTSをパケットヘッダに格納する方法として、拡張領域を用いる以外に、MMTパケットヘッダにおける32bitのNTPタイムスタンプフィールドに、当該MMTパケットに含まれるサンプルのDTSを格納する方法がある。1つのパケットヘッダのビット数(32bit)でDTSを表現できない場合は、DTSは、複数のパケットヘッダを用いて表現されてもよい。また、DTSは、パケットヘッダのNTPタイムスタンプフィールドと拡張領域とを組み合わせて表現されてもよい。DTS情報が含まれない場合は既知の値(例えばALL0)とされる。 As a method of storing the DTS of each sample in the packet header, in addition to using the extended area, there is a method of storing the DTS of the sample included in the MMT packet in the 32-bit NTP time stamp field in the MMT packet header. If the DTS cannot be represented by the number of bits (32 bits) of one packet header, the DTS may be represented by using a plurality of packet headers. Further, the DTS may be expressed by combining the NTP time stamp field of the packet header and the extended area. If the DTS information is not included, it is a known value (for example, ALL0).
<サンプルのPTSの決定>
受信装置は、先頭サンプルのPTSを、MPUに含まれるアセット毎のMPUタイムスタンプ記述子から取得する。受信装置は、以降のサンプルPTSについては、固定フレームレートであるものとして、POC等のサンプルの表示順を示すパラメータなどから算出する。このように、ヘッダ情報を用いずにDTS、及びPTSを算出するためには、固定フレームレートによる送信が必須となる。
<Determination of sample PTS>
The receiving device acquires the PTS of the first sample from the MPU time stamp descriptor for each asset included in the MPU. The receiving device calculates the subsequent sample PTS from parameters indicating the display order of the samples such as POC, assuming that the frame rate is fixed. As described above, in order to calculate DTS and PTS without using the header information, transmission at a fixed frame rate is indispensable.
また、MFメタデータが送信されている場合、受信装置は、MFメタデータに示される先頭サンプルからのDTSやPTSの相対時刻情報と、MPUタイムスタンプ記述子に示されるMPU先頭サンプルのタイムスタンプの絶対値とからDTS及びPTSの絶対値を算出できる。 Further, when the MF metadata is transmitted, the receiving device receives the relative time information of DTS and PTS from the first sample shown in the MF metadata and the time stamp of the MPU first sample shown in the MPU time stamp descriptor. The absolute values of DTS and PTS can be calculated from the absolute values.
なお、符号化データ解析してDTS及びPTSを算出する際には、受信装置は、アクセスユニットに含まれるSEI情報を用いて算出してもよい。 When calculating the DTS and PTS by analyzing the coded data, the receiving device may calculate using the SEI information included in the access unit.
<初期化情報(パラメータセット)>
[ビデオの場合]
ビデオの場合、パラメータセットは、サンプルデータに格納される。また、MPUメタデータ及びMFメタデータが送信されない場合は、サンプルデータのみを参照することにより復号に必要なパラメータセットを取得できることを保証する。
<Initialization information (parameter set)>
[For video]
For video, the parameter set is stored in the sample data. In addition, when MPU metadata and MF metadata are not transmitted, it is guaranteed that the parameter set required for decoding can be obtained by referring only to the sample data.
また、図21の(a)及び(d)のように、MPUメタデータがメディアデータよりも先に送信される場合、SampleEntryにはパラメータセットは格納しないと規定されてもよい。この場合、受信装置は、SampleEntryのパラメータセットは参照せずにサンプル内のパラメータセットのみを参照する。 Further, as shown in FIGS. 21 (a) and 21 (d), when the MPU metadata is transmitted before the media data, it may be specified that the parameter set is not stored in the SampleEntry. In this case, the receiving device refers only to the parameter set in the sample without referring to the parameter set of SingleEntry.
また、MPUメタデータがメディアデータよりも先に送信される場合、SampleEntryにはMPUに共通のパラメータセットやデフォルトのパラメータセットが格納され、受信装置は、SampleEntryのパラメータセット及びサンプル内のパラメータセットを参照してもよい。SampleEntryにパラメータセットが格納されることにより、SampleEntryにパラメータセットが存在しないと再生できない従来の受信装置でも復号を行うことが可能となる。 Further, when the MPU metadata is transmitted before the media data, the parameter set common to the MPU and the default parameter set are stored in the SampleEntry, and the receiving device stores the parameter set of the SampleEntry and the parameter set in the sample. You may refer to it. By storing the parameter set in the SampleEntry, it is possible to perform decoding even with a conventional receiving device that cannot be reproduced unless the parameter set exists in the SampleEntry.
[オーディオの場合]
オーディオの場合、復号にはLATMヘッダが必要であり、MP4では、LATMヘッダがサンプルエントリに含められることが必須である。しかし、ヘッダ情報が送信されない場合は、受信装置がLATMヘッダを取得することは困難であるため、別途SIなどの制御情報にLATMヘッダが含められる。なお、LATMヘッダは、メッセージ、テーブル、または記述子に含められてもよい。なお、LATMヘッダはサンプル内に含められることもある。
[For audio]
In the case of audio, a LATM header is required for decoding, and in MP4 it is essential that the LATM header be included in the sample entry. However, if the header information is not transmitted, it is difficult for the receiving device to acquire the LATM header, so that the LATM header is separately included in the control information such as SI. The LATM header may be included in the message, table, or descriptor. The LATM header may be included in the sample.
受信装置は、復号開始前にSIなどからLATMヘッダを取得し、オーディオの復号を開始する。或いは、図21の(a)及び図21の(d)に示されるように、MPUメタデータがメディアデータよりも先に送信される場合は、受信装置は、LATMヘッダをメディアデータより先に受信可能である。したがって、MPUメタデータがメディアデータよりも先に送信される場合は、従来の受信装置を用いても復号を行うことが可能となる。 The receiving device acquires the LATM header from SI or the like before starting decoding, and starts decoding the audio. Alternatively, as shown in FIGS. 21 (a) and 21 (d), if the MPU metadata is transmitted before the media data, the receiving device receives the LATM header before the media data. It is possible. Therefore, when the MPU metadata is transmitted before the media data, it is possible to perform decoding even by using a conventional receiving device.
<その他>
送信順序や送信順序のタイプは、MMTパケットヘッダやペイロードヘッダ、或いは、MPTやその他のテーブル、メッセージ、記述子などの制御情報として通知されてもよい。なお、ここでの送信順序のタイプとは、例えば、図21の(a)~(d)の4つのタイプの送信順序であり、それぞれのタイプを識別するための識別子が復号開始前に取得できる場所に格納されればよい。
<Others>
The transmission order and the type of transmission order may be notified as MMT packet header, payload header, or control information such as MPT and other tables, messages, and descriptors. The transmission order type here is, for example, the transmission order of the four types (a) to (d) in FIG. 21, and an identifier for identifying each type can be obtained before the start of decoding. It should be stored in the place.
また、送信順序のタイプは、オーディオとビデオとで異なるタイプが用いられてもよいし、オーディオとビデオとで共通のタイプが用いられてもよい。具体的には、例えば、オーディオは、図21の(a)に示されるように、MPUメタデータ、MFメタデータ、メディアデータの順番で送信され、ビデオは、図21の(d)に示されるように、MPUメタデータ、メディアデータ、MFメタデータの順番で送信されてもよい。 Further, as the transmission order type, different types may be used for audio and video, or a common type may be used for audio and video. Specifically, for example, audio is transmitted in the order of MPU metadata, MF metadata, and media data as shown in FIG. 21 (a), and video is shown in FIG. 21 (d). As such, MPU metadata, media data, and MF metadata may be transmitted in this order.
以上説明したような方法により、受信装置は、ヘッダ情報を用いずに復号を行うことが可能である。また、MPUメタデータがメディアデータよりも先に送信されている場合(図21の(a)及び図21の(d))は、従来の受信装置でも復号を行うことが可能になる。 By the method as described above, the receiving device can perform decoding without using the header information. Further, when the MPU metadata is transmitted before the media data (FIG. 21 (a) and FIG. 21 (d)), the conventional receiving device can also perform decoding.
特に、MFメタデータがメディアデータより後に送信されること(図21の(d))により、カプセル化による遅延を発生させず、かつ従来の受信装置でも復号を行うことが可能となる。 In particular, since the MF metadata is transmitted after the media data ((d) in FIG. 21), it is possible to perform decoding even with a conventional receiving device without causing a delay due to encapsulation.
[送信装置の構成及び動作]
次に、送信装置の構成及び動作について説明する。図23は、実施の形態2に係る送信装置のブロック図であり、図24は、実施の形態2に係る送信方法のフローチャートである。
[Configuration and operation of transmitter]
Next, the configuration and operation of the transmitter will be described. FIG. 23 is a block diagram of the transmission device according to the second embodiment, and FIG. 24 is a flowchart of the transmission method according to the second embodiment.
図23に示されるように、送信装置15は、符号化部16と、多重化部17と、送信部18とを備える。
As shown in FIG. 23, the
符号化部16は、符号化対象のビデオまたはオーディオを、例えば、H.265に従い符号化することで符号化データを生成する(S10)。
The
多重化部17は、符号化部16により生成された符号化データを多重化(パケット化)する(S11)。具体的には、多重化部17は、MP4フォーマットのファイルを構成する、サンプルデータ、MPUメタデータ、及び、MFメタデータ、のそれぞれをパケット化する。サンプルデータは、映像信号または音声信号が符号化されたデータであり、MPUメタデータは、第1のメタデータの一例であり、MFメタデータは、第2のメタデータの一例である。第1のメタデータと第2のメタデータとは、いずれもサンプルデータの復号に用いられるメタデータであるが、これらの違いは、第2のメタデータがサンプルデータの生成後にのみ生成可能なデータを含むことである。
The multiplexing
ここで、サンプルデータの生成後にのみ生成可能なデータは、例えば、MP4フォーマットにおけるmdatに格納されるサンプルデータ以外のデータ(mdatのヘッダ内のデータ。つまり、図20に図示されるtype及びlength。)である。ここで、第2のメタデータには、このデータのうち少なくとも一部であるlengthが含まれればよい。 Here, the data that can be generated only after the sample data is generated is, for example, data other than the sample data stored in mdat in the MP4 format (data in the header of mdat, that is, type and lens shown in FIG. 20. ). Here, the second metadata may include length, which is at least a part of this data.
送信部18は、パケット化したMP4フォーマットのファイルを送信する(S12)。送信部18は、例えば、図21の(d)に示される方法でMP4フォーマットのファイルを送信する。つまり、パケット化されたMPUメタデータ、パケット化されたサンプルデータ、パケット化されたMFメタデータをこの順に送信する。
The
なお、符号化部16、多重化部17、及び送信部18のそれぞれは、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
Each of the
[受信装置の構成]
次に、受信装置の構成及び動作について説明する。図25は、実施の形態2に係る受信装置のブロック図である。
[Receiver configuration]
Next, the configuration and operation of the receiving device will be described. FIG. 25 is a block diagram of the receiving device according to the second embodiment.
図25に示されるように、受信装置20は、パケットフィルタリング部21と、送信順序タイプ判別部22と、ランダムアクセス部23と、制御情報取得部24と、データ取得部25と、PTS、DTS算出部26と、初期化情報取得部27と、復号命令部28と、復号部29と、提示部30とを備える。
As shown in FIG. 25, the receiving
[受信装置の動作1]
まず、メディアがビデオである場合に、受信装置20が、MPU先頭位置及びNALユニット位置を特定するための動作について説明する。図26は、受信装置20のこのような動作のフローチャートである。なお、ここでは、MPUデータの送信順序タイプは、送信装置15(多重化部17)によってSI情報に格納されているとする。
[Operation of receiving device 1]
First, when the medium is a video, the operation for the receiving
まず、パケットフィルタリング部21は、受信したファイルに対してパケットフィルタリングを行う。送信順序タイプ判別部22は、パケットフィルタリングによって得られるSI情報を解析して、MPUデータの送信順序タイプを取得する(S21)。
First, the
次に、送信順序タイプ判別部22は、パケットフィルタリング後のデータにMPUヘッダ情報(MPUメタデータ或いはMFメタデータの少なくとも一方)が含まれているか否かを判定(判別)する(S22)。MPUヘッダ情報(が含まれている場合(S22でYes)には、ランダムアクセス部23は、MMTペイロードヘッダのフラグメントタイプがメディアデータへ切り替わることを検出することで、MPU先頭サンプルを特定する(S23)。
Next, the transmission order
一方、MPUヘッダ情報が含まれていない場合(S22でNo)には、ランダムアクセス部23は、MMTパケットヘッダのRAP_flag或いはMMTペイロードヘッダのsample numberに基づいてMPU先頭サンプルを特定する(S24)。
On the other hand, when the MPU header information is not included (No in S22), the
また、送信順序タイプ判別部22は、パケットフィルタリングされたデータに、MFメタデータが含まれているか否かを判定する(S25)。MFメタデータが含まれていると判定された場合(S25でYes)には、データ取得部25は、MFメタデータに含まれるサンプル、サブサンプルのオフセット、及びサイズ情報に基づいてNALユニットを読み出すことによりNALユニットを取得する(S26)。一方、MFメタデータが含まれていないと判定された場合(S25でNo)には、データ取得部25は、サンプルの先頭NALユニットから順に、NALユニットのサイズのデータを読み出すことでNALユニットを取得する(S27)。
Further, the transmission order
なお、受信装置20は、ステップS22において、MPUヘッダ情報が含まれていると判別された場合でも、ステップS23ではなくステップS24の処理を用いてMPU先頭サンプルを特定してもよい。また、MPUヘッダ情報が含まれていると判別された場合に、ステップS23の処理とステップS24の処理とが併用されてもよい。
Even if it is determined in step S22 that the MPU header information is included, the receiving
また、受信装置20は、ステップS25において、MFメタデータが含まれていると判定された場合でも、ステップS26の処理を用いずにステップS27の処理を用いてNALユニットを取得してもよい。また、MFメタデータが含まれていると判定された場合に、ステップS23の処理とステップS24の処理とが併用されてもよい。
Further, the receiving
また、ステップS25においてMFメタデータが含まれていると判定された場合であって、MFデータがメディアデータより後に送信されている場合が想定される。この場合、受信装置20は、メディアデータをバッファリングし、MFメタデータを取得するまで待ってからステップS26の処理を行ってもよいし、受信装置20は、MFメタデータの取得を待たずにステップS27の処理を行うか否かを判定してもよい。
Further, it is assumed that the case where it is determined in step S25 that the MF metadata is included and the MF data is transmitted after the media data. In this case, the receiving
例えば、受信装置20は、メディアデータをバッファリングすることが可能なバッファサイズのバッファを保有しているかどうかに基づいてMFメタデータの取得を待つか否かを判定してもよい。また、受信装置20は、End-to-End遅延が小さくなるかどうかに基づいて、MFメタデータの取得を待つか否かを判定してもよい。また、受信装置20は、主としてステップS26の処理を用いて復号処理を実施し、パケットロスなどが発生したときの処理モードの場合にステップS27の処理を用いてもよい。
For example, the receiving
なお、送信順序タイプがあらかじめ定められている場合は、ステップS22及びステップS26は省略されてもよいし、この場合、受信装置20は、バッファサイズやEnd-to-End遅延を考慮して、MPU先頭サンプルの特定方法、及び、NALユニットの特定方法を決定してもよい。
If the transmission order type is predetermined, steps S22 and S26 may be omitted. In this case, the receiving
なお、あらかじめ送信順序タイプが既知である場合は、受信装置20において送信順序タイプ判別部22は、不要である。
If the transmission order type is known in advance, the transmission order
また、上記図26においては説明されないが、復号命令部28は、PTS、DTS算出部26において算出されたPTS及びDTS、初期化情報取得部27において取得された初期化情報に基づいて、データ取得部において取得されたデータを復号部29に出力する。復号部29は、データを復号し、提示部30は、復号後のデータを提示する。
Further, although not described in FIG. 26, the
[受信装置の動作2]
次に、受信装置20が、送信順序タイプに基づいて初期化情報を取得し、初期化情報に基づいてメディアデータを復号する動作について説明する。図27は、このような動作のフローチャートである。
[Operation of receiving device 2]
Next, the operation of the receiving
まず、パケットフィルタリング部21は、受信したファイルに対してパケットフィルタリングを行う。送信順序タイプ判別部22は、パケットフィルタリングによって得られるSI情報を解析し、送信順序タイプを取得する(S301)。
First, the
次に、送信順序タイプ判別部22は、MPUメタデータが送信されているか否かを判定する(S302)。MPUメタデータが送信されていると判定された場合(S302でYes)、送信順序タイプ判別部22は、ステップS301の解析の結果、MPUメタデータがメディアデータより先に送信されているかどうかを判定する(S303)。MPUメタデータがメディアデータより先に送信されている場合(S303でYes)、初期化情報取得部27は、MPUメタデータに含まれる共通な初期化情報、及び、サンプルデータの初期化情報に基づいてメディアデータを復号する(S304)。
Next, the transmission order
一方、MPUメタデータがメディアデータより後に送信されていると判定された場合(S303でNo)には、データ取得部25は、MPUメタデータが取得されるまでメディアデータをバッファリングし(S305)、MPUメタデータが取得された後にステップS304の処理を実施する。
On the other hand, when it is determined that the MPU metadata is transmitted after the media data (No in S303), the
また、ステップS302において、MPUメタデータが送信されていないと判定された場合(S302でNo)には、初期化情報取得部27は、サンプルデータの初期化情報のみに基づいてメディアデータを復号する(S306)。
If it is determined in step S302 that the MPU metadata has not been transmitted (No in S302), the initialization
なお、送信側においてサンプルデータの初期化情報に基づく場合のみメディアデータの復号が保証されている場合は、ステップS302、及びステップS303の判定に基づく処理を行わず、ステップS306の処理が用いられる。 If the transmission side is guaranteed to decode the media data only based on the initialization information of the sample data, the process of step S306 is used without performing the process based on the determination of step S302 and step S303.
また、受信装置20は、ステップS305の前に、メディアデータをバッファリングするか否かの判定を行ってもよい。この場合、受信装置20は、メディアデータをバッファリングすると判定した場合にはステップS305の処理へ移行し、メディアデータをバッファリングしないと判定した場合には、ステップS306の処理へ移行する。メディアデータをバッファリングするか否かの判定は、受信装置20のバッファサイズ、占有量に基づいて行われてもよいし、例えば、End-to-End遅延の小さい方が選択されるなど、End-to-End遅延を考慮して判定が行われてもよい。
Further, the receiving
[受信装置の動作3]
ここでは、MFメタデータがメディアデータよりも後に送信される場合(図21の(c)、及び図21の(d))における送信方法や受信方法の詳細について説明する。以下では、図21の(d)の場合を例に説明する。なお、送信においては、図21の(d)の方法のみが用いられ、送信順序タイプのシグナリングは行われないものとする。
[Operation of receiver 3]
Here, the details of the transmission method and the reception method in the case where the MF metadata is transmitted after the media data ((c) in FIG. 21 and (d) in FIG. 21) will be described. Hereinafter, the case of FIG. 21D will be described as an example. In the transmission, only the method (d) of FIG. 21 is used, and the transmission order type signaling is not performed.
先述のとおり、図21の(d)に示されるように、MPUメタデータ、メディアデータ、MFメタデータの順でデータを送信する場合、
(D-1)受信装置20は、MPUメタデータを取得した後、さらにMFメタデータを取得した後にメディアデータを復号する。
(D-2)受信装置20は、MPUメタデータを取得した後、MFメタデータを用いずにメディアデータを復号する。
の2通りの復号方法が可能である。
As described above, when data is transmitted in the order of MPU metadata, media data, and MF metadata, as shown in FIG. 21 (d).
(D-1) The receiving
(D-2) After acquiring the MPU metadata, the receiving
There are two possible decryption methods.
ここで、D-1は、MFメタデータ取得のためのメディアデータのバッファリングが必要となるが、MPUヘッダ情報を用いて復号を行うことができるため、従来のMP4準拠の受信装置で復号可能となる。また、D-2は、MFメタデータ取得のためのメディアデータのバッファリングを必要としないが、MFメタデータを用いて復号できないため、復号に特別な処理が必要となる。 Here, D-1 requires buffering of media data for acquiring MF metadata, but since decoding can be performed using MPU header information, it can be decoded by a conventional MP4 compliant receiving device. It becomes. Further, D-2 does not require buffering of media data for acquiring MF metadata, but cannot be decoded using MF metadata, so that special processing is required for decoding.
また、図21の(d)の方法は、MFメタデータは、メディアデータより後で送信されるため、カプセル化による遅延は発生せず、End-to-End遅延を低減できるという利点を有する。 Further, the method (d) of FIG. 21 has an advantage that the MF metadata is transmitted after the media data, so that the delay due to encapsulation does not occur and the End-to-End delay can be reduced.
受信装置20は、受信装置20の能力や、受信装置20が提供するサービス品質に応じて、上記2通りの復号方法を選択することができる。
The receiving
送信装置15は、受信装置20における復号動作において、バッファのオーバーフローやアンダーフローの発生を低減して復号できることを保証しなければならない。D-1の方法を用いて復号する場合のデコーダモデルを規定するための要素としては、例えば下記のパラメータを用いることができる。
The transmitting
・MPUを再構成するためのバッファサイズ(MPUバッファ)
例えば、バッファサイズ=最大レート×最大MPU時間×αであり、最大レートとは、符号化データのプロファイル、レベルの上限レート+MPUヘッダのオーバーヘッドである。また、最大MPU時間は、1MPU=1GOP(ビデオ)とした場合のGOPの最大時間長である。
-Buffer size for reconstructing MPU (MPU buffer)
For example, buffer size = maximum rate × maximum MPU time × α, and the maximum rate is the profile of the coded data, the upper limit rate of the level + the overhead of the MPU header. The maximum MPU time is the maximum time length of the GOP when 1 MPU = 1 GOP (video).
ここで、オーディオは、上記ビデオに共通のGOP単位としてもよいし、別の単位でもよい。αは、オーバーフローを起こさないためのマージンであり、最大レート×最大MPU時間に対して、乗算されてもよいし、加算されてもよい。乗算される場合は、α≧1であり、加算される場合は、α≧0である。 Here, the audio may be a GOP unit common to the video, or may be another unit. α is a margin for preventing overflow, and may be multiplied or added to the maximum rate × maximum MPU time. When multiplied, α ≧ 1, and when added, α ≧ 0.
・MPUバッファへデータが入力されてから復号されるまでの復号遅延時間の上限。(MPEG-TSのSTDにおけるTSTD_delay)
例えば、送信時には、最大MPU時間、及び、復号遅延時間の上限値を考慮して、受信機におけるMPUデータの取得完了時刻<=DTSとなるようにDTSが設定される。
-The upper limit of the decoding delay time from when data is input to the MPU buffer until it is decoded. (TSTD_delay in STD of MPEG-TS)
For example, at the time of transmission, the DTS is set so that the acquisition completion time of the MPU data in the receiver <= DTS in consideration of the upper limit of the maximum MPU time and the decoding delay time.
また、送信装置15は、D-1の方法を用いて復号する場合のデコーダモデルに従い、DTS及びPTSを付与してもよい。これにより、送信装置15は、D-1の方法を用いて復号を行う受信装置の当該復号を保証すると同時に、D-2の方法を用いて復号が行われる場合に必要な補助情報を送信してもよい。
Further, the
例えば、送信装置15は、D-2の方法を用いて復号する場合のデコーダバッファにおけるプリバッファリング時間をシグナリングすることにより、D-2の方法を用いて復号する受信装置の動作を保証できる。
For example, the transmitting
プリバッファリング時間は、メッセージ、テーブル、記述子などのSI制御情報に含められてもよいし、MMTパケット、MMTペイロードのヘッダに含められてもよい。また、符号化データ内のSEIが上書きされてもよい。D-1の方法を用いて復号するためのDTS及びPTSは、MPUタイムスタンプ記述子、SamplleEntryに格納され、D-2の方法を用いて復号するためのDTS及びPTS、またはプリバッファリング時間がSEIにおいて記述されてもよい。 The prebuffering time may be included in SI control information such as messages, tables, and descriptors, or may be included in the headers of MMT packets and MMT payloads. Further, the SEI in the encoded data may be overwritten. The DTS and PTS for decoding using the method of D-1 are stored in the MPU timestamp descriptor, SampleEntry, and the DTS and PTS for decoding using the method of D-2, or the prebuffering time. It may be described in SEI.
受信装置20は、当該受信装置20がMPUヘッダを用いたMP4準拠の復号動作のみに対応している場合は、復号方法D-1を選択し、D-1およびD-2の両方に対応している場合は、どちらか一方を選択してもよい。
When the receiving
送信装置15は、一方(本説明では、D-1)の復号動作を保証できるようにDTS、及びPTSを付与し、さらに一方の復号動作を補助するための補助情報を送信してもよい。
The
また、D-2の方法が用いられる場合、D-1の方法が用いられる場合と比較して、MFメタデータのプリバッファリングに起因する遅延により、End-to-End遅延が大きくなる可能性が高い。したがって、受信装置20は、End-to-End遅延を小さくしたいときは、D-2の方法を選択して復号してもよい。例えば、受信装置20は、常にEnd-to-End遅延を削減したい場合に、常にD-2の方法を用いてもよい。また、受信装置20は、ライブコンテンツや、選局、ザッピング動作など、低遅延で提示したい、低遅延提示モードで動作している場合のみD-2の方法を用いてもよい。
Further, when the method of D-2 is used, the End-to-End delay may be larger due to the delay caused by the prebuffering of the MF metadata as compared with the case where the method of D-1 is used. Is high. Therefore, when the receiving
図28は、このような受信方法のフローチャートである。 FIG. 28 is a flowchart of such a receiving method.
まず、受信装置20は、MMTパケットを受信し、MPUデータを取得する(S401)。そして、受信装置20(送信順序タイプ判別部22)は、当該プログラムを低遅延提示モードで提示するかどうかの判定を行う(S402)。
First, the receiving
プログラムを低遅延提示モードで提示しない場合(S402でNo)、受信装置20(ランダムアクセス部23及び初期化情報取得部27)は、ヘッダ情報を用いてランダムアクセス、初期化情報を取得する(S405)。また、受信装置20(PTS、DTS算出部26、復号命令部28、復号部29、提示部30)は、送信側で付与されたPTS、DTSに基づいてデコード及び提示処理を行う(S406)。
When the program is not presented in the low delay presentation mode (No in S402), the receiving device 20 (
一方、プログラムを低遅延提示モードで提示する場合(S402でYes)、受信装置20(ランダムアクセス部23及び初期化情報取得部27)は、ヘッダ情報を用いない復号方法を用いて、ランダムアクセス、初期化情報を取得する(S403)。また、受信装置20は、送信側で付与されたPTS、DTS及びヘッダ情報を用いずに復号するための補助情報に基づいてデコード及び提示処理を行う(S404)。なお、ステップS403、及びステップS404において、MPUメタデータを用いて処理が行われてもよい。
On the other hand, when the program is presented in the low delay presentation mode (Yes in S402), the receiving device 20 (
[補助データを用いた送受信方法]
以上、MFメタデータがメディアデータより後に送信される場合(図21の(c)、及び図21の(d)の場合)における送受信動作について説明した。次に、送信装置15がMFメタデータの一部の機能を有する補助データを送信することにより、より早く復号を開始でき、End-to-End遅延を削減できる方法について説明する。ここでは、図21の(d)に示される送信方法に基づいて補助データがさらに送信される例について説明されるが、補助データを用いる方法は、図21の(a)~(c)に示される送信方法においても適用可能である。
[Transmission / reception method using auxiliary data]
The transmission / reception operation in the case where the MF metadata is transmitted after the media data (in the case of (c) of FIG. 21 and the case of (d) of FIG. 21) has been described above. Next, a method will be described in which the
図29の(a)は、図21の(d)に示される方法を用いて送信されたMMTパケットを示す図である。つまり、データは、MPUメタデータ、メディアデータ、MFメタデータの順で送信される。 FIG. 29 (a) is a diagram showing MMT packets transmitted by the method shown in FIG. 21 (d). That is, the data is transmitted in the order of MPU metadata, media data, and MF metadata.
ここで、サンプル#1、サンプル#2、サンプル#3、サンプル#4はメディアデータに含まれるサンプルである。なお、ここではメディアデータは、サンプル単位でMMTパケットに格納される例について説明されるが、メディアデータは、NALユニット単位でMMTパケットに格納されてもよいし、NALユニットを分割した単位で格納されてもよい。なお、複数のNALユニットがアグリゲーションされてMMTパケットに格納される場合もある。
Here,
先述のD-1で説明したように、図21の(d)に示される方法の場合、つまり、MPUメタデータ、メディアデータ、MFメタデータの順でデータが送信される場合、MPUメタデータを取得後、さらにMFメタデータを取得し、その後、メディアデータを復号する方法がある。このようなD-1の方法では、MFメタデータ取得のためのメディアデータのバッファリングが必要となるが、MPUヘッダ情報を用いて復号が行われるため、従来のMP4準拠の受信装置にもD-1の方法は適用可能である利点がある。一方で、受信装置20は、MFメタデータ取得まで、復号開始を待たなければならない欠点がある。
As described in D-1 above, in the case of the method shown in (d) of FIG. 21, that is, when the data is transmitted in the order of MPU metadata, media data, and MF metadata, the MPU metadata is used. After the acquisition, there is a method of further acquiring the MF metadata and then decoding the media data. Such a method of D-1 requires buffering of media data for acquiring MF metadata, but since decoding is performed using MPU header information, the conventional MP4 compliant receiving device is also D. Method -1 has the advantage of being applicable. On the other hand, the receiving
これに対し、図29の(b)に示されるように、補助データを用いる手法においては、MFメタデータより先に、補助データが送信される。 On the other hand, as shown in FIG. 29 (b), in the method using the auxiliary data, the auxiliary data is transmitted before the MF metadata.
MFメタデータには、ムービーフラグメントに含まれる全てのサンプルのDTSやPTS、オフセットやサイズを示す情報が含まれている。これに対し、補助データには、ムービーフラグメントに含まれるサンプルのうち、一部のサンプルのDTSやPTS、オフセットやサイズを示す情報が含まれる。 The MF metadata contains information indicating the DTS, PTS, offset and size of all the samples contained in the movie fragment. On the other hand, the auxiliary data includes information indicating the DTS, PTS, offset, and size of some of the samples included in the movie fragment.
例えば、MFメタデータには、すべてのサンプル(サンプル#1-サンプル#4)の情報が含まれるのに対し、補助データには一部のサンプル(サンプル#1-#2)の情報が含まれる。 For example, the MF metadata contains information for all samples (sample # 1-sample # 4), while the auxiliary data contains information for some samples (sample # 1- # 2). ..
図29の(b)に示される場合は、補助データが用いられることでサンプル#1、及びサンプル#2の復号が可能となるため、D-1の送信方法に対して、End-to-Ent遅延が小さくなる。なお、補助データには、どのようにサンプルの情報が組み合わされて含められてもよいし、補助データは、繰り返し送信されてもよい。
In the case shown in FIG. 29 (b), since the
例えば、図29の(c)において、Aのタイミングで補助情報を送信する場合は、送信装置15は、補助情報にサンプル#1の情報を含め、Bのタイミングで補助情報を送信する場合は、補助情報にサンプル#1及びサンプル#2の情報を含める。送信装置15は、Cのタイミングで補助情報を送信する場合は、補助情報にはサンプル#1、サンプル#2、及びサンプル#3の情報を含める。
For example, in FIG. 29 (c), when the auxiliary information is transmitted at the timing of A, the
なお、MFメタデータには、サンプル#1、サンプル#2、サンプル#3、及び、サンプル#4の情報(ムービーフラグメントの中の全サンプルの情報)が含まれる。
The MF metadata includes information on
補助データは、必ずしも生成後、ただちに送信される必要はない。 Auxiliary data does not necessarily have to be sent immediately after generation.
なお、MMTパケットやMMTペイロードのヘッダにおいては、補助データが格納されていることを示すタイプが指定される。 In the header of the MMT packet or MMT payload, a type indicating that auxiliary data is stored is specified.
例えば、補助データがMMTペイロードにMPUモードを用いて格納される場合は、fragment_typeフィールド値(例えば、FT=3)として、補助データであることを示すデータタイプが指定される。補助データは、moofの構成に基づくデータであってもよいし、その他の構成であってもよい。 For example, when the auxiliary data is stored in the MMT payload using the MPU mode, the fragment_type field value (eg, FT = 3) specifies a data type indicating that it is auxiliary data. The auxiliary data may be data based on the structure of moof, or may have other structures.
補助データが、MMTペイロードに制御信号(記述子、テーブル、メッセージ)として格納される場合は、補助データであることを示す記述子タグ、テーブルID、及びメッセージIDなどが指定される。 When the auxiliary data is stored in the MMT payload as a control signal (descriptor, table, message), a descriptor tag indicating that the auxiliary data is used, a table ID, a message ID, and the like are specified.
また、MMTパケットやMMTペイロードのヘッダにPTSまたはDTSが格納されてもよい。 Further, PTS or DTS may be stored in the header of the MMT packet or MMT payload.
[補助データの生成例]
以下、送信装置がmoofの構成に基づいて補助データを生成する例について説明する。図30は、送信装置がmoofの構成に基づいて補助データを生成する例を説明するための図である。
[Example of generating auxiliary data]
Hereinafter, an example in which the transmission device generates auxiliary data based on the configuration of the moof will be described. FIG. 30 is a diagram for explaining an example in which the transmitting device generates auxiliary data based on the configuration of moof.
通常のMP4では、図20に示されるように、ムービーフラグメントに対してmoofが作成される。moofには、ムービーフラグメントに含まれるサンプルのDTSやPTS、オフセットやサイズを示す情報が含まれている。 In normal MP4, a movie is created for a movie fragment, as shown in FIG. The moof contains information indicating the DTS, PTS, offset, and size of the sample contained in the movie fragment.
ここでは、送信装置15は、MPUを構成するサンプルデータの中で、一部のサンプルデータのみを用いてMP4(MP4ファイル)を構成し、補助データを生成する。
Here, the
例えば、図30の(a)に示されるように、送信装置15は、MPUを構成するサンプル#1-#4のうち、サンプル#1のみを用いてMP4を生成し、そのうち、moof+mdatのヘッダを補助データとする。
For example, as shown in FIG. 30A, the transmitting
次に、図30の(b)に示されるように、送信装置15は、MPUを構成するサンプル#1-#4のうち、サンプル#1及びサンプル#2を用いてMP4を生成し、そのうち、moof+mdatのヘッダを次の補助データとする。
Next, as shown in FIG. 30 (b), the
次に、図30の(c)に示されるように、送信装置15は、MPUを構成するサンプル#1-#4のうち、サンプル#1、サンプル#2、及びサンプル#3を用いてMP4を生成し、そのうち、moof+mdatのヘッダを次の補助データとする。
Next, as shown in FIG. 30 (c), the
次に、図30の(d)に示されるように、送信装置15は、MPUを構成するサンプル#1-#4のうち、すべてのMP4を生成し、そのうち、moof+mdatのヘッダがムービーフラグメントメタデータとなる。
Next, as shown in FIG. 30 (d), the
なお、ここでは、送信装置15は、1サンプル毎に補助データを生成したが、Nサンプル毎に補助データを生成してもよい。Nの値は任意の数字であり、例えば、一つのMPUを送信するときに補助データをM回送信する場合、N=全サンプル/Mとされてもよい。
Here, the
なお、moofにおけるサンプルのオフセットを示す情報は、後続のサンプル数のサンプルエントリ領域がNULL領域として確保された後のオフセット値であってもよい。 The information indicating the offset of the sample in moof may be the offset value after the sample entry area of the subsequent sample number is secured as the NULL area.
なお、MFメタデータをフラグメントする構成となるように補助データが生成されてもよい。 Auxiliary data may be generated so as to be configured to fragment the MF metadata.
[補助データを用いた受信動作例]
図30で説明したように生成された補助データの受信について説明する。図31は、補助データの受信を説明するための図である。なお、図31の(a)では、MPUを構成するサンプル数は30であり、10サンプル毎に補助データが生成され、送信されるものとする。
[Example of reception operation using auxiliary data]
The reception of the auxiliary data generated as described with reference to FIG. 30 will be described. FIG. 31 is a diagram for explaining the reception of auxiliary data. In FIG. 31A, the number of samples constituting the MPU is 30, and auxiliary data is generated and transmitted every 10 samples.
図30の(a)において、補助データ#1には、サンプル#1-#10、補助データ#2には、サンプル#1-#20、MFメタデータには、サンプル#1-#30のサンプル情報がそれぞれ含まれる。
In FIG. 30A, the
なお、サンプル#1-#10、サンプル#11-#20、及びサンプル#21-#30は、一つのMMTペイロードに格納されているが、サンプル単位やNAL単位で格納されてもよいし、フラグメントやアグリゲーションした単位で格納されてもよい。 Although samples # 1- # 10, samples # 11- # 20, and samples # 21- # 30 are stored in one MMT payload, they may be stored in sample units or NAL units, or fragments. Or aggregated units may be stored.
受信装置20は、MPUメタ、サンプル、MFメタ、及び補助データのパケットをそれぞれ受信する。
The receiving
受信装置20は、サンプルデータを受信順に(後ろに)連結し、最新の補助データを受信した後に、これまでの補助データを更新する。また、受信装置20は、最後に補助データをMFメタデータに置き換えることにより、完全なMPUを構成できる。
The receiving
受信装置20は、補助データ#1を受信した時点では、図31の(b)の上段のようにデータを連結し、MP4を構成する。これにより、受信装置20は、MPUメタデータ、及び補助データ#1の情報を用いてサンプル#1-#10をパースすることができ、補助データに含まれるPTS、DTS、オフセット、及びサイズの情報に基づいて復号を行うことができる。
When the receiving
また、受信装置20は、補助データ#2を受信した時点では、図31の(b)の中段のようにデータを連結し、MP4を構成する。これにより、受信装置20は、MPUメタデータ、及び補助データ#2の情報を用いてサンプル#1-#20をパースすることができ、補助データに含まれるPTS、DTS、オフセット、サイズの情報に基づいて復号を行うことができる。
Further, when the receiving
また、受信装置20は、MFメタデータを受信した時点では、図31の(b)の下段のようにデータを連結し、MP4を構成する。これにより、受信装置20は、MPUメタデータ、及びMFメタデータを用いてサンプル#1-#30をパースすることができ、MFメタデータに含まれるPTS、DTS、オフセット、及びサイズの情報に基づいて復号を行うことができる。
Further, when the receiving
補助データが無い場合は、受信装置20は、MFメタデータの受信後にはじめてサンプルの情報を取得できるため、MFメタデータの受信後に復号を開始する必要があった。しかしながら、送信装置15が補助データを生成し、送信することにより、受信装置20は、MFメタデータの受信を待たずに、補助データを用いてサンプルの情報を取得できるため、復号開始時間を早めることができる。さらに、送信装置15が図30を用いて説明したmoofに基づく補助データを生成することにより、受信装置20は、従来のMP4のパーサーをそのまま利用し、パースすることが可能である。
In the absence of auxiliary data, the receiving
また、新たに生成する補助データやMFメタデータは、過去に送信した補助データと重複するサンプルの情報を含む。このため、パケットロスなどにより過去の補助データを取得できなかった場合でも、新たに取得する補助データやMFメタデータを用いることで、MP4を再構成し、サンプルの情報(PTS、DTS、サイズ、及びオフセット)を取得することが可能である。 In addition, the newly generated auxiliary data and MF metadata include sample information that overlaps with the auxiliary data transmitted in the past. Therefore, even if the past auxiliary data could not be acquired due to packet loss, etc., MP4 can be reconstructed by using the newly acquired auxiliary data and MF metadata, and the sample information (PTS, DTS, size, etc.) can be obtained. And offset) can be obtained.
なお、補助データは、必ずしも過去のサンプルデータの情報を含む必要はない。たとえば、補助データ#1は、サンプルデータ#1-#10に対応し、補助データ#2は、サンプルデータ#11-#20に対応してもよい。例えば、図31の(c)に示されるように、送信装置15は、完全なMFメタデータをデータユニットとして、データユニットをフラグメントした単位を補助データとして順次送出してもよい。
The auxiliary data does not necessarily have to include the information of the past sample data. For example, the
また、送信装置15は、パケットロス対策のために、補助データを繰り返し伝送してもよいし、MFメタデータを繰り返し伝送してもよい。
Further, the
なお、補助データが格納されるMMTパケット及びMMTペイロードには、MPUメタデータ、MFメタデータ、及びサンプルデータと同様に、MPUシーケンス番号、及びアセットIDが含まれる。 The MMT packet and MMT payload in which the auxiliary data is stored include the MPU sequence number and the asset ID as well as the MPU metadata, the MF metadata, and the sample data.
以上のような補助データを用いた受信動作について図32のフローチャートを用いて説明する。図32は、補助データを用いた受信動作のフローチャートである。 The reception operation using the auxiliary data as described above will be described with reference to the flowchart of FIG. FIG. 32 is a flowchart of a reception operation using auxiliary data.
まず、受信装置20は、MMTパケットを受信し、パケットヘッダやペイロードヘッダを解析する(S501)。次に、受信装置20は、フラグメントタイプが補助データか、MFメタデータかを解析し(S502)、フラグメントタイプが補助データである場合には、過去の補助データを上書きして更新する(S503)。このとき、同一MPUの過去の補助データがない場合には、受信装置20は、受信した補助データをそのまま新規の補助データとする。そして、受信装置20は、MPUメタデータ、補助データ、及びサンプルデータに基づき、サンプルを取得し、復号を行う(S507)。
First, the receiving
一方、フラグメントタイプがMFメタデータである場合には、受信装置20は、ステップS505において、過去の補助データをMFメタデータで上書きする(S505)。そして、受信装置20は、MPUメタデータ、MFメタデータ、及びサンプルデータに基づきサンプルを完全なMPUの形で取得し、復号を行う(S506)。
On the other hand, when the fragment type is MF metadata, the receiving
なお、図32において図示されないが、ステップS502において、受信装置20は、フラグメントタイプがMPUメタデータである場合には、データをバッファに格納し、サンプルデータである場合には、サンプル毎に後ろに連結したデータをバッファに格納する。
Although not shown in FIG. 32, in step S502, the receiving
パケットロスにより補助データが取得できなかった場合は、受信装置20は、最新の補助データにより上書きを行うか、あるいは過去の補助データを用いることによりサンプルを復号することができる。
If the auxiliary data cannot be acquired due to packet loss, the receiving
なお、補助データの送出周期及び送出回数はあらかじめ定められた値であってもよい。送出周期や回数(カウント、カウンドダウン)の情報は、データと一緒に送信されてもよい。例えば、データユニットヘッダに、送出周期、送出回数、及びinitial_cpb_removal_delayなどのタイムスタンプが格納されてもよい。 The transmission cycle and the number of transmissions of the auxiliary data may be predetermined values. Information on the transmission cycle and the number of times (count, countdown) may be transmitted together with the data. For example, the data unit header may store a time stamp such as a transmission cycle, a transmission count, and initial_cpb_removal_delay.
MPUの初めのサンプルの情報を含む補助データをinitial_cpb_removal_delayより先に1回以上送信することにより、CPBバッファモデルに従うことが可能となる。このとき、MPUタイムスタンプ記述子には、picture timing SEIに基づいた値を格納される。 The CPB buffer model can be followed by transmitting auxiliary data containing information on the first sample of the MPU at least once prior to the initial_cpb_removal_delay. At this time, the value based on the picture timing SEI is stored in the MPU time stamp descriptor.
なお、このような補助データが使用される受信動作における伝送方式は、MMT方式に限定されず、MPEG-DASHなど、ISOBMFFファイルフォーマットで構成されるパケットをストリーミング伝送する場合などに適用可能である。 The transmission method in the reception operation in which such auxiliary data is used is not limited to the MMT method, and can be applied to the case of streaming transmission of a packet composed of an ISOBMFF file format such as MPEG-DASH.
[1つのMPUが複数のムービーフラグメントで構成される場合の送信方法]
上記図19以降の説明においては、1つのMPUが、1つのムービーフラグメントで構成されたが、ここでは、1つのMPUが複数のムービーフラグメントで構成される場合について説明する。図33は、複数のムービーフラグメントで構成されるMPUの構成を示す図である。
[Sending method when one MPU consists of multiple movie fragments]
In the description after FIG. 19 above, one MPU is composed of one movie fragment, but here, a case where one MPU is composed of a plurality of movie fragments will be described. FIG. 33 is a diagram showing the configuration of an MPU composed of a plurality of movie fragments.
図33では、1つのMPUに格納されるサンプル(#1-#6)は、2つのムービーフラグメントに分けて格納される。第1のムービーフラグメントは、サンプル#1-#3に基づいて生成され、対応するmoofボックスが生成される。第2のムービーフラグメントは、サンプル#4-#6に基づいて生成され、対応するmoofボックスが生成される。 In FIG. 33, the samples (# 1 to # 6) stored in one MPU are stored separately in two movie fragments. The first movie fragment is generated based on samples # 1- # 3, and a corresponding moof box is generated. The second movie fragment is generated based on sample # 4- # 6 and a corresponding moof box is generated.
第1のムービーフラグメントにおけるmoofボックス及びmdatボックスのヘッダは、ムービーフラグメントメタデータ#1としてMMTペイロード及びMMTパケットに格納される。一方、第2のムービーフラグメントにおけるmoofボックス及びmdatボックスのヘッダは、ムービーフラグメントメタデータ#2としてMMTペイロード及びMMTパケットに格納される。なお、図33において、ムービーフラグメントメタデータが格納されたMMTペイロードは、ハッチングされている。
The headers of the moof box and mdat box in the first movie fragment are stored in the MMT payload and the MMT packet as movie
なお、MPUを構成するサンプル数や、ムービーフラグメントを構成するサンプル数は任意である。例えば、MPUを構成するサンプル数をGOP単位のサンプル数とし、GOP単位の2分の1のサンプル数をムービーフラグメントとして、2つのムービーフラグメントが構成されてもよい。 The number of samples constituting the MPU and the number of samples constituting the movie fragment are arbitrary. For example, two movie fragments may be configured by using the number of samples constituting the MPU as the number of samples in the GOP unit and the number of samples in half of the GOP unit as the movie fragment.
なお、ここでは、一つのMPUに2つのムービーフラグメント(moofボックス及びmdatボックス)を含む例を示すが、1つのMPUに含むムービーフラグメントは2つでなくとも、3つ以上であってもよい。また、ムービーフラグメントに格納するサンプルは等分したサンプル数でなく、任意のサンプル数に分割してもよい。 Here, an example in which one MPU contains two movie fragments (moof box and mdat box) is shown, but one MPU may contain three or more movie fragments instead of two. Further, the sample stored in the movie fragment may be divided into any number of samples instead of the number of equally divided samples.
なお、図33では、MPUメタデータ単位及びMFメタデータ単位がそれぞれデータユニットとしてMMTペイロードに格納されている。しかしながら、送信装置15は、ftyp、mmpu、moov、及びmoofなどの単位をデータユニットとして、データユニット単位でMMTペイロードに格納してもよいし、データユニットをフラグメントした単位でMMTペイロードに格納してもよい。また、送信装置15は、データユニットをアグリゲーションした単位でMMTペイロードに格納してもよい。
In FIG. 33, the MPU metadata unit and the MF metadata unit are stored in the MMT payload as data units, respectively. However, the transmitting
また、図33では、サンプルは、サンプル単位でMMTペイロードに格納されている。しかしながら、送信装置15は、サンプル単位でなくともNALユニット単位または複数のNALユニットをまとめた単位でデータユニットを構成し、データユニット単位でMMTペイロードに格納してもよい。また、送信装置15は、データユニットをフラグメントした単位でMMTペイロードに格納してもよいし、データユニットをアグリゲーションした単位でMMTペイロードに格納してもよい。
Further, in FIG. 33, the sample is stored in the MMT payload in sample units. However, the transmitting
なお、図33では、moof#1、mdat#1、moof#2、mdat#2の順にMPUが構成され、moof#1には、対応するmdat#1が後ろについているものとしてoffsetが付与されている。しかしながら、mdat#1がmoof#1より前についているものしてoffsetが付与されてもよい。ただし、この場合、moof+mdatの形でムービーフラグメントメタデータを生成することはできず、moof及びmdatのヘッダはそれぞれ別々に伝送される。
In FIG. 33, MPUs are configured in the order of
次に、図33で説明した構成のMPUが伝送される場合のMMTパケットの送信順序について説明する。図34は、MMTパケットの送信順序を説明するための図である。 Next, the transmission order of the MMT packets when the MPU having the configuration described with reference to FIG. 33 is transmitted will be described. FIG. 34 is a diagram for explaining the transmission order of MMT packets.
図34の(a)は、図33に示されるMPUの構成順序でMMTパケットを送信する場合の送信順序を示している。図34の(a)は、具体的には、MPUメタ、MFメタ#1、メディアデータ#1(サンプル#1-#3)、MFメタ#2、メディアデータ#2(サンプル#4-#6)の順に送信する例を示す。
(A) of FIG. 34 shows a transmission order when MMT packets are transmitted in the configuration order of the MPU shown in FIG. 33. Specifically, FIG. 34A shows MPU meta,
図34の(b)は、MPUメタ、メディアデータ#1(サンプル#1-#3)、MFメタ#1、メディアデータ#2(サンプル#4-#6)、MFメタ#2の順に送信する例を示す。
(B) of FIG. 34 transmits MPU meta, media data # 1 (sample # 1- # 3),
図34の(c)は、メディアデータ#1(サンプル#1-#3)、MPUメタ、MFメタ#1、メディアデータ#2(サンプル#4-#6)、MFメタ#2の順に送信する例を示す。
In FIG. 34 (c), media data # 1 (sample # 1- # 3), MPU meta,
MFメタ#1は、サンプル#1-#3を用いて生成され、MFメタ#2はサンプル#4-#6を用いて生成される。このため、図34の(a)の送信方法が用いられる場合には、サンプルデータの送信にはカプセル化による遅延が発生する。
これに対し、図34の(b)及び図34の(c)の送信方法が用いられる場合には、MFメタを生成するのを待たずにサンプルを送信可能であるため、カプセル化による遅延は発生せず、End-to-End遅延を低減できる。 On the other hand, when the transmission methods of FIG. 34 (b) and FIG. 34 (c) are used, the sample can be transmitted without waiting for the generation of the MF meta, so that the delay due to encapsulation is increased. It does not occur and the End-to-End delay can be reduced.
また、図34の(a)送信順序においても、1つのMPUが複数のムービーフラグメントに分割され、MFメタに格納されるサンプル数が図19の場合に対して小さくなっているため、図19の場合よりもカプセル化による遅延量を小さくすることができる。 Further, also in the transmission order of FIG. 34 (a), one MPU is divided into a plurality of movie fragments, and the number of samples stored in the MF meta is smaller than that in the case of FIG. The amount of delay due to encapsulation can be made smaller than in the case.
なお、ここで示した方法以外に、例えば、送信装置15は、MFメタ#1及びMFメタ#2を連結し、MPUの最後にまとめて送信してもよい。この場合、異なるムービーフラグメントのMFメタがアグリゲーションされて、一つのMMTペイロードに格納されてもよい。また、異なるMPUのMFメタがまとめてアグリゲーションされてMMTペイロードに格納されてもよい。
In addition to the method shown here, for example, the
[1つのMPUが複数のムービーフラグメントで構成される場合の受信方法]
ここでは、図34の(b)で説明した送信順序で送信されたMMTパケットを受信して復号する受信装置20の動作例について説明する。図35及び図36は、このような動作例を説明するための図である。
[Reception method when one MPU consists of multiple movie fragments]
Here, an operation example of the receiving
受信装置20は、図35に示されるような送信順序で送信された、MPUメタ、サンプル、及びMFメタを含むMMTパケットをそれぞれ受信する。サンプルデータは、受信順に連結される。
The receiving
受信装置20は、MFメタ#1を受信した時刻であるT1に、図36の(1)に示されるようにデータを連結し、MP4を構成する。これにより、受信装置20は、MPUメタデータ、及びMFメタ#1の情報に基づいてサンプル#1-#3を取得することができ、MFメタに含まれるPTS、DTS、オフセット、及びサイズの情報に基づいて復号を行うことができる。
The receiving
また、受信装置20は、MFメタ#2を受信した時刻であるT2に、図36の(2)に示されるようにデータを連結し、MP4を構成する。これにより、受信装置20は、MPUメタデータ、及びMFメタ#2の情報を基づいてサンプル#4-#6を取得することができ、MFメタのPTS、DTS、オフセット、及びサイズの情報に基づいて復号を行うことができる。また、受信装置20は、図36の(3)に示されるようにデータを連結し、MP4を構成することでMFメタ#1及びMFメタ#2の情報に基づいてサンプル#1-#6を取得してもよい。
Further, the receiving
1つのMPUが複数のムービーフラグメントに分割することで、MPUの中で初めのMFメタを取得するまでの時間が短縮されるため、復号開始時間を早めることができる。また、復号前のサンプルを蓄積するためのバッファサイズを小さくすることができる。 By dividing one MPU into a plurality of movie fragments, the time until the first MF meta is acquired in the MPU is shortened, so that the decoding start time can be shortened. In addition, the buffer size for accumulating the sample before decoding can be reduced.
なお、送信装置15は、ムービーフラグメントにおける初めのサンプルを送信(或いは受信)してからムービーフラグメントに対応するMFメタを送信(或いは受信)するまでの時間が、エンコーダで指定されるinitial_cpb_removal_delayより短い時間となるようにムービーフラグメントの分割単位を設定してもよい。このように設定することにより、受信バッファはcpbバッファに従うことができ、低遅延の復号を実現できる。この場合、PTS及びDTSにはinitial_cpb_removal_delayに基づいた絶対時刻を用いることができる。
The
また、送信装置15は、ムービーフラグメントの分割を等間隔、或いは、後続のムービーフラグメントを前のムービーフラグメントより短い間隔で分割してもよい。これにより、受信装置20は、サンプルの復号前に必ず当該サンプルの情報を含むMFメタを受信することができ、連続した復号が可能となる。
Further, the transmitting
PTS、及びDTSの絶対時刻の算出方法は、下記の2通りの方法を用いることができる。 The following two methods can be used to calculate the absolute time of PTS and DTS.
(1)PTS及びDTSの絶対時刻は、MFメタ#1やMFメタ#2の受信時刻(T1或いはT2)、及びMFメタに含まれるPTS及びDTSの相対時刻に基づいて決定される。
(1) The absolute time of PTS and DTS is determined based on the reception time (T1 or T2) of MF
(2)PTS及びDTSの絶対時刻は、MPUタイムスタンプ記述子等、送信側からシグナリングされる絶対時刻、及びMFメタに含まれるPTS及びDTSの相対時刻に基づいて決定される。 (2) The absolute time of PTS and DTS is determined based on the absolute time signaled from the transmitting side such as the MPU time stamp descriptor and the relative time of PTS and DTS included in the MF meta.
また、(2-A)送信装置15がシグナリングする絶対時刻は、エンコーダから指定されるinitial_cpb_removal_delayに基づいて算出された絶対時刻であってもよい。
Further, the absolute time signaled by the (2-A)
また、(2-B)送信装置15がシグナリングする絶対時刻は、MFメタの受信時刻の予測値に基づいて算出された絶対時刻であってもよい。
Further, the absolute time signaled by the (2-B)
なお、MFメタ#1及びMFメタ#2は、繰り返し伝送されてもよい。MFメタ#1及びMFメタ#2が繰り返し伝送されることにより、受信装置20は、MFメタをパケットロス等により取得できなかった場合でも、もう一度取得することができる。
The
ムービーフラグメントを構成するサンプルを含むMFUのペイロードヘッダには、ムービーフラグメントの順番を示す識別子を格納することができる。一方、ムービーフラグメントを構成するMFメタの順番を示す識別子はMMTペイロードには含まれない。このため、受信装置20は、packet_sequence_numberでMFメタの順番を識別する。或いは、送信装置15は、MFメタが何番目のムービーフラグメントに属するかを示す識別子を、制御情報(メッセージ、テーブル、記述子)、MMTヘッダ、MMTペイロードヘッダ、またはデータユニットヘッダに格納してシグナリングしてもよい。
An identifier indicating the order of movie fragments can be stored in the payload header of the MFU containing the samples constituting the movie fragment. On the other hand, the identifier indicating the order of the MF metas constituting the movie fragment is not included in the MMT payload. Therefore, the receiving
なお、送信装置15は、MPUメタ、MFメタ、及びサンプルを、あらかじめ定められた所定の送信順序で送信し、受信装置20は、あらかじめ定められた所定の送信順序に基づいて受信処理を実施してもよい。また、送信装置15は、送信順序をシグナリングし、シグナリング情報に基づいて受信装置20が受信処理を選択(判断)してもよい。
The transmitting
上記のような受信方法について、図37を用いて説明する。図37は、図35及び図36で説明した受信方法の動作のフローチャートである。 The reception method as described above will be described with reference to FIG. 37. FIG. 37 is a flowchart of the operation of the receiving method described with reference to FIGS. 35 and 36.
まず、受信装置20は、MMTペイロードに示されるフラグメントタイプにより、ペイロードに含まれるデータが、MPUメタデータ、MFメタデータであるか、サンプルデータ(MFU)であるかを判別(識別)する(S601、S602)。データがサンプルデータである場合には、受信装置20は、サンプルをバッファリングし、当該サンプルに対応するMFメタデータの受信、及び復号開始を待つ(S603)。
First, the receiving
一方、ステップS602において、データがMFメタデータである場合には、受信装置20は、MFメタデータよりサンプルの情報(PTS、DTS、位置情報、及びサイズ)を取得し、取得したサンプルの情報に基づいてサンプルを取得し、PTS及びDTSに基づいてサンプルを復号、提示する(S604)。
On the other hand, in step S602, when the data is MF metadata, the receiving
なお、図示されないが、データがMPUメタデータである場合、MPUメタデータには、復号に必要な初期化情報が含まれている。このため、受信装置20はこれを蓄積し、ステップS604においてサンプルデータの復号に用いる。
Although not shown, when the data is MPU metadata, the MPU metadata includes initialization information necessary for decoding. Therefore, the receiving
なお、受信装置20は、受信したMPUのデータ(MPUメタデータ、MFメタデータ、及びサンプルデータ)を蓄積装置に蓄積する場合には、図19または図33で説明した、MPUの構成に並び替えた後に、蓄積する。
When the receiving
なお、送信側においては、MMTパケットには、同一のパケットIDを持つパケットに対して、パケットシーケンス番号を付与する。このとき、MPUメタデータ、MFメタデータ、サンプルデータを含むMMTパケットが送信順序に並び替えられた後にパケットシーケンス番号が付与されてもよいし、並び替える前の順序でパケットシーケンス番号が付与されてもよい。 On the transmitting side, a packet sequence number is assigned to the MMT packet for the packet having the same packet ID. At this time, the packet sequence number may be assigned after the MMT packet including the MPU metadata, the MF metadata, and the sample data is sorted in the transmission order, or the packet sequence number is assigned in the order before the sorting. May be good.
並び替える前の順序でパケットシーケンス番号が付与される場合には、受信装置20において、パケットシーケンス番号に基づいて、データをMPUの構成順序に並び替えることができ、蓄積が容易となる。
When the packet sequence numbers are assigned in the order before sorting, the receiving
[アクセスユニットの先頭及びスライスセグメントの先頭を検出する方法]
MMTパケットヘッダ、及びMMTペイロードヘッダの情報に基づき、アクセスユニットの先頭やスライスセグメントの先頭を検出する方法について説明する。
[How to detect the beginning of the access unit and the beginning of the slice segment]
A method of detecting the beginning of an access unit or the beginning of a slice segment based on the information of the MMT packet header and the MMT payload header will be described.
ここでは、非VCL NALユニット(アクセスユニットデリミタ、VPS、SPS、PPS、及びSEIなど)を、まとめてデータユニットとしてMMTペイロードに格納する場合、及び、非VCL NALユニットをそれぞれデータユニットとし、データユニットをアグリゲーションして1つのMMTペイロードに格納する場合の2つの例を示す。 Here, when the non-VCL NAL unit (access unit delimiter, VPS, SPS, PPS, SEI, etc.) is collectively stored in the MMT payload as a data unit, and the non-VCL NAL unit is used as a data unit and a data unit. Will be aggregated and stored in one MMT payload.
図38は、非VCL NALユニットを、個別にデータユニットとし、アグリゲーションする場合を示す図である。 FIG. 38 is a diagram showing a case where non-VCL NAL units are individually used as data units and aggregated.
図38の場合、アクセスユニットの先頭は、fragment_type値がMFUであるMMTパケットであり、かつ、aggregation_flag値が1であり、かつoffset値が0であるデータユニットを含むMMTペイロードの先頭データである。このとき、Fragmentation_indicator値は0である。 In the case of FIG. 38, the head of the access unit is the head data of the MMT payload including the data unit having the fragment_type value of MFU, the aggregation_flag value of 1, and the offset value of 0. At this time, the Fragmentation_indicator value is 0.
また、図38の場合、スライスセグメントの先頭は、fragment_type値がMFUであるMMTパケットであり、かつaggregation_flag値が0、fragmentation_indicator値が00或いは01であるMMTペイロードの先頭データである。 Further, in the case of FIG. 38, the head of the slice segment is the head data of the MMT payload having a fragment_type value of MFU, an aggregation_flag value of 0, and a fragmentation_indicator value of 00 or 01.
図39は、非VCL NALユニットを、まとめてデータユニットとする場合を示す図である。なお、パケットヘッダのフィールド値は、図17(または図18)で示した通りである。 FIG. 39 is a diagram showing a case where non-VCL NAL units are collectively used as a data unit. The field value of the packet header is as shown in FIG. 17 (or FIG. 18).
図39の場合、アクセスユニットの先頭は、Offset値が0であるパケットにおけるペイロードの先頭データが、アクセスユニットの先頭となる。 In the case of FIG. 39, at the head of the access unit, the head data of the payload in the packet whose Offset value is 0 is the head of the access unit.
また、図39の場合、スライスセグメントの先頭は、Offset値が0とは異なる値であり、fragmentation indicator値が00或いは01であるパケットのペイロードの先頭データが、スライスセグメントの先頭となる。 Further, in the case of FIG. 39, the head of the slice segment is a value different from 0 in the Offset value, and the head data of the payload of the packet having the fragmentation indicator value of 00 or 01 is the head of the slice segment.
[パケットロスが発生した場合の受信処理]
通常、パケットロスが発生する環境において、MP4形式のデータを伝送する場合、受信装置20は、ALFEC(Application Layer FEC)や、パケット再送制御等によりパケットを復元する。
[Reception processing when packet loss occurs]
Normally, when transmitting MP4 format data in an environment where packet loss occurs, the receiving
しかし、放送のようなストリーミングにおいてAL-FECを用いられない場合にパケットロスが発生した場合には、パケットを復元できない。 However, if packet loss occurs when AL-FEC is not used in streaming such as broadcasting, the packet cannot be restored.
受信装置20は、パケットロスによりデータが失われた後、再び映像や音声の復号を再開させる必要がある。そのためには、受信装置20は、アクセスユニットやNALユニットの先頭を検出し、アクセスユニットやNALユニットの先頭から復号を開始する必要がある。
The receiving
しかし、MP4形式のNALユニットの先頭には、スタートコードがついていないため、受信装置20は、ストリームを解析しても、アクセスユニットやNALユニットの先頭を検出できない。
However, since the start code is not attached to the head of the MP4 format NAL unit, the receiving
図40は、パケットロスが発生した場合の受信装置20の動作のフローチャートである。
FIG. 40 is a flowchart of the operation of the receiving
受信装置20は、MMTパケットやMMTペイロードのヘッダにおけるPacketsequence numberや、packet counter、fragment counterなどによりパケットロスを検出し(S701)、前後の関係から、どのパケットが消失したかを判定する(S702)。
The receiving
受信装置20は、パケットロスが発生していないと判定された場合(S702でNo)には、MP4ファイルを構成し、アクセスユニット或いはNALユニットを復号する(S703)。
When it is determined that no packet loss has occurred (No in S702), the receiving
受信装置20は、パケットロスが発生したと判定された場合(S702でYes)には、パケットロスしたNALユニットに相当するNALユニットをダミーデータにより生成し、MP4ファイルを構成する(S704)。受信装置20は、NALユニットにダミーデータを入れる場合には、NALユニットのタイプにダミーデータであることを示す。
When it is determined that packet loss has occurred (Yes in S702), the receiving
また、受信装置20は、図17、図18、図38、及び図39で説明した方法に基づいて、次のアクセスユニットやNALユニットの先頭を検出し、先頭データからデコーダに入力することで、復号を再開することができる(S705)。
Further, the receiving
なお、パケットロスが発生した場合には、受信装置20は、パケットヘッダに基づいて検出された情報に基づいてアクセスユニット及びNALユニットの先頭から復号を再開してもよいし、ダミーデータのNALユニットを含む、再構成されたMP4ファイルのヘッダ情報に基づいてアクセスユニット及びNALユニットの先頭から復号を再開してもよい。
When a packet loss occurs, the receiving
受信装置20は、MP4ファイル(MPU)を蓄積する際には、パケットロスにより消失したパケットデータ(NALユニットなど)は、放送や通信から別途取得して蓄積(置き換え)してもよい。
When the receiving
このとき、受信装置20は、消失したパケットを通信から取得する場合には、消失したパケットの情報(パケットIDや、MPUシーケンス番号、パケットシーケンス番号、IPデータフロー番号、及びIPアドレスなど)をサーバーに通知し、当該パケットを取得する。受信装置20は、消失したパケットのみに限らず、消失したパケット前後のパケット群を同時に取得してもよい。
At this time, when the receiving
[ムービーフラグメントの構成方法]
ここでは、ムービーフラグメントの構成方法について詳細に説明する。
[How to configure a movie fragment]
Here, a method of configuring a movie fragment will be described in detail.
図33で説明されたように、ムービーフラグメントを構成するサンプル数、及び、1つのMPUを構成するムービーフラグメント数は、任意である。例えば、ムービーフラグメントを構成するサンプル数、及び、1つのMPUを構成するムービーフラグメント数は、固定的に定められた所定の数であってもよいし、動的に決定されてもよい。 As described with reference to FIG. 33, the number of samples constituting the movie fragment and the number of movie fragments constituting one MPU are arbitrary. For example, the number of samples constituting the movie fragment and the number of movie fragments constituting one MPU may be a fixed fixed number or may be dynamically determined.
ここで、送信側(送信装置15)において下記の条件を満たすようにムービーフラグメントが構成されることで、受信装置20における低遅延の復号を保証することができる。
Here, by configuring the movie fragment so as to satisfy the following conditions on the transmitting side (transmitting device 15), it is possible to guarantee low-delay decoding in the receiving
その条件とは、以下の通りである。 The conditions are as follows.
送信装置15は、受信装置20が、任意のサンプル(Sample(i))の復号時刻(DTS(i))より前には必ず当該サンプルの情報を含むMFメタを受信できるように、サンプルデータを分割した単位をムービーフラグメントとしてMFメタを生成・送信する。
The transmitting
具体的には、送信装置15は、DTS(i)より前に符号化済のサンプル(i番目のサンプルを含む)を用いてムービーフラグメントを構成する。
Specifically, the
低遅延の復号を保証するように、ムービーフラグメントを構成するサンプル数や1つのMPUを構成するムービーフラグメント数を動的に決定する方法としては、例えば、下記の方法が用いられる。 As a method for dynamically determining the number of samples constituting a movie fragment and the number of movie fragments constituting one MPU so as to guarantee low-delay decoding, for example, the following method is used.
(1)復号開始時、GOP先頭のサンプルSample(0)の復号時刻DTS(0)は、initial_cpb_removal_delayに基づいた時刻である。送信装置は、DTS(0)より前の時刻に、符号化完了済のサンプルを用いて第1のムービーフラグメントを構成する。また、送信装置15は、第1のムービーフラグメントに対応するMFメタデータを生成し、DTS(0)より前の時刻に送信する。
(1) At the start of decoding, the decoding time DTS (0) of the sample Sample (0) at the head of the GOP is a time based on internal_cpb_removal_delay. The transmitting device constitutes a first movie fragment using the coded sample at a time before DTS (0). Further, the
(2)送信装置15は、以降のサンプルにおいても、上記の条件を満たすようにムービーフラグメントを構成する。
(2) The
例えば、ムービーフラグメントの先頭のサンプルがk番目のサンプルであるとしたとき、k番目のサンプルを含むムービーフラグメントのMFメタは、k番目のサンプルの復号時刻DTS(k)までに送信される。送信装置15は、l番目のサンプルの符号化完了時刻がDTS(k)より前であり、(l+1)番目のサンプルの符号化完了時刻がDTS(k)より後である場合には、k番目のサンプルからl番目のサンプルを用いてムービーフラグメントを構成する。
For example, assuming that the first sample of the movie fragment is the kth sample, the MF meta of the movie fragment containing the kth sample is transmitted by the decoding time DTS (k) of the kth sample. When the coding completion time of the l-th sample is before DTS (k) and the coding completion time of the (l + 1) th sample is after DTS (k), the
なお、送信装置15は、k番目のサンプルから、l番目に満たないサンプルまでを用いてムービーフラグメントを構成してもよい。
The
(3)送信装置15は、MPU最後のサンプルの符号化完了後、残りのサンプルを用いてムービーフラグメントを構成し、当該ムービーフラグメントに対応するMFメタデータを生成し、送信する。
(3) After the coding of the last sample of the MPU is completed, the
なお、送信装置15は、符号化完了済のすべてのサンプルを用いてムービーフラグメントを構成せずに、符号化完了済の一部のサンプルを用いてムービーフラグメントを構成してもよい。
Note that the
なお、上記では、低遅延の復号を保証するように、上記条件に基づいて動的に、ムービーフラグメントを構成するサンプル数、及び、1つのMPUを構成するムービーフラグメント数が決定される例を示した。しかしながら、サンプル数及びムービーフラグメント数の決定方法は、このような方法に限定されるものではない。例えば、1つのMPUを構成するムービーフラグメント数が所定の値に固定され、上記条件を満たすようにサンプル数が決定されてもよい。また、1つのMPUを構成するムービーフラグメント数、及びムービーフラグメントを分割する時刻(或いはムービーフラグメントの符号量)が所定の値に固定され、上記条件を満たすようにサンプル数が決定されてもよい。 In the above, an example is shown in which the number of samples constituting a movie fragment and the number of movie fragments constituting one MPU are dynamically determined based on the above conditions so as to guarantee low-delay decoding. rice field. However, the method for determining the number of samples and the number of movie fragments is not limited to such a method. For example, the number of movie fragments constituting one MPU may be fixed to a predetermined value, and the number of samples may be determined so as to satisfy the above conditions. Further, the number of movie fragments constituting one MPU and the time for dividing the movie fragment (or the code amount of the movie fragment) are fixed to predetermined values, and the number of samples may be determined so as to satisfy the above conditions.
また、MPUが複数のムービーフラグメントに分割されている場合、MPUが複数のムービーフラグメントに分割されているかどうかを示す情報、分割されたムービーフラグメントの属性、または分割されたムービーフラグメントに対するMFメタの属性が送信されてもよい。 Also, if the MPU is split into multiple movie fragments, information indicating whether the MPU is split into multiple movie fragments, the attributes of the split movie fragment, or the attributes of the MF meta for the split movie fragment. May be sent.
ここで、ムービーフラグメントの属性とは、ムービーフラグメントが、MPUの先頭のムービーフラグメントであるか、MPUの最後のムービーフラグメントであるか、それ以外のムービーフラグメントであるか等を示す情報である。 Here, the attribute of the movie fragment is information indicating whether the movie fragment is the first movie fragment of the MPU, the last movie fragment of the MPU, or any other movie fragment.
また、MFメタの属性とは、MFメタが、MPUの先頭のムービーフラグメントに対応するMFメタであるか、MPUの最後のムービーフラグメントに対応するMFメタであるか、それ以外のムービーフラグメントに対応するMFメタであるか等を示す情報である。 Further, the attribute of the MF meta corresponds to whether the MF meta is the MF meta corresponding to the first movie fragment of the MPU, the MF meta corresponding to the last movie fragment of the MPU, or other movie fragments. This is information indicating whether or not the MF meta is to be used.
なお、送信装置15は、ムービーフラグメントを構成するサンプル数、及び、1つのMPUを構成するムービーフラグメント数を制御情報として格納し、送信してもよい。
The
[受信装置の動作]
上記のように構成されたムービーフラグメントに基づく受信装置20の動作について説明する。
[Operation of receiver]
The operation of the receiving
受信装置20は、PTS及びDTSのそれぞれの絶対時刻を、MPUタイムスタンプ記述子等、送信側からシグナリングされる絶対時刻、及びMFメタに含まれるPTS及びDTSの相対時刻に基づいて決定する。
The receiving
受信装置20は、MPUが複数のムービーフラグメントに分割されているかどうかの情報に基づいて、MPUが分割されている場合は、分割されたムービーフラグメントの属性に基づいて、下記のように処理をする。
The receiving
(1)受信装置20は、ムービーフラグメントがMPUの先頭のムービーフラグメントである場合、MPUタイムスタンプ記述子に含まれる先頭サンプルのPTSの絶対時刻、及びMFメタに含まれるPTS及びDTSの相対時刻を用いて、PTS及びDTSの絶対時刻を生成する。
(1) When the movie fragment is the first movie fragment of the MPU, the receiving
(2)受信装置20は、ムービーフラグメントがMPUの先頭のムービーフラグメントでない場合、MPUタイムスタンプ記述子の情報を用いずに、MFメタに含まれるPTS及びDTSの相対時刻を用いて、PTS及びDTSの絶対時刻を生成する。
(2) When the movie fragment is not the first movie fragment of the MPU, the receiving
(3)受信装置20は、ムービーフラグメントがMPUの最後のムービーフラグメントである場合、すべてのサンプルのPTS及びDTSの絶対時刻を算出後、PTS及びDTSの計算処理(相対時刻の加算処理)をリセットする。なお、リセット処理は、MPU先頭のムービーフラグメントにおいて実施してもよい。
(3) When the movie fragment is the last movie fragment of the MPU, the receiving
受信装置20は、下記のようにムービーフラグメントが分割されているかどうかの判定を行ってもよい。また、受信装置20は、下記のようにムービーフラグメントの属性情報を取得してもよい。
The receiving
例えば、受信装置20は、MMTP(MMT Protocol)ペイロードヘッダに示されるムービーフラグメントの順番を示す識別子movie_fragment_sequence_numberフィールド値に基づいて分割されているかどうかを判定してもよい。
For example, the receiving
具体的には、受信装置20は、1つのMPUに含まれるムービーフラグメントの数が1であり、かつ、movie_fragment_sequence_numberフィールド値が1であり、かつ、当該フィールド値が2以上の値が存在する場合に、当該MPUは複数のムービーフラグメントに分割されていると判定してもよい。
Specifically, the receiving
また、受信装置20は、1つのMPUに含まれるムービーフラグメントの数が1であり、かつ、movie_fragment_sequence_numberフィールド値が0であり、かつ、当該フィールド値が0以外の値が存在する場合に、当該MPUは複数のムービーフラグメントに分割されていると判定してもよい。
Further, the receiving
ムービーフラグメントの属性情報も同様に、movie_fragment_sequence_numberに基づいて判定されてもよい。 Similarly, the attribute information of the movie fragment may be determined based on movie_fragment_sequence_number.
なお、movie_freagment_sequence_numberを用いずとも、一つMPUに含まれるムービーフラグメントやMFメタの送信をカウントすることにより、ムービーフラグメントが分割されているかどうかや、ムービーフラグメントの属性情報を判定されてもよい。 It should be noted that even if movie_freegment_sequence_number is not used, it may be determined whether or not the movie fragment is divided and the attribute information of the movie fragment by counting the transmission of the movie fragment and the MF meta included in one MPU.
以上説明したような送信装置15および受信装置20の構成により、受信装置20は、MPUよりも短い間隔でムービーフラグメントメタデータを受信でき、低遅延での復号開始が可能となる。また、MP4パースの方法に基づいた復号処理を用いて、低遅延での復号を行うことが可能となる。
With the configuration of the transmitting
以上説明したようにMPUが複数のムービーフラグメントに分割されている場合の受信動作について、フローチャートを用いて説明する。図41は、MPUが複数のムービーフラグメントに分割されている場合の受信動作のフローチャートである。なお、このフローチャートは、図37のステップS604の動作をより詳細に図示するものである。 As described above, the reception operation when the MPU is divided into a plurality of movie fragments will be described with reference to a flowchart. FIG. 41 is a flowchart of the receiving operation when the MPU is divided into a plurality of movie fragments. It should be noted that this flowchart illustrates the operation of step S604 in FIG. 37 in more detail.
まず、受信装置20は、MMTPペイロードヘッダに示されるデータ種別に基づいて、データ種別がMFメタである場合に、MFメタデータを取得する(S801)。
First, the receiving
次に、受信装置20は、MPUが複数のムービーフラグメントに分割されているかどうかを判定し(S802)、MPUが複数のムービーフラグメントに分割されている場合(S802でYes)には、受信したMFメタデータがMPU先頭のメタデータであるかどうかを判定する(S803)。受信装置20は、受信したMFメタデータがMPU先頭のMFメタデータである場合(S803でYes)には、MPUタイムスタンプ記述子に示されるPTSの絶対時刻、並びにMFメタデータに示されるPTS及びDTSの相対時刻よりPTS及びDTSの絶対時刻を算出し(S804)、MPUの最後のメタデータであるかどうかの判定を行う(S805)。
Next, the receiving
一方、受信装置20は、受信したMFメタデータがMPU先頭のMFメタデータでない場合(S803でNo)には、MPUタイムスタンプ記述子の情報は用いずMFメタデータに示されるPTS及びDTSの相対時刻を用いてPTS及びDTSの絶対時刻を算出し(S808)、ステップS805の処理に移行する。
On the other hand, when the received MF metadata is not the MF metadata at the beginning of the MPU (No in S803), the receiving
ステップS805において、MPU最後のMFメタデータであると判定された場合(S805でYes)、受信装置20は、すべてのサンプルのPTS及びDTSの絶対時刻を算出後、PTS及びDTSの計算処理をリセットする。ステップS805においてMPU最後のMFメタデータでないと判定された場合(S805でNo)、受信装置20は処理を終了する。
If it is determined in step S805 that it is the last MF metadata of the MPU (Yes in S805), the receiving
また、ステップS802においてMPUが複数のムービーフラグメントに分割されていないと判定された場合(S802でNo)には、受信装置20は、MPUの後に送信されるMFメタデータに基づき、サンプルデータを取得し、PTS及びDTSを決定する(S807)。
If it is determined in step S802 that the MPU is not divided into a plurality of movie fragments (No in S802), the receiving
そして、図示されないが、受信装置20は、最後に、決定したPTS及びDTSに基づいて復号処理、提示処理を実施する。
Then, although not shown, the receiving
[ムービーフラグメントを分割したときに発生する課題、及び、その解決策]
これまで、ムービーフラグメントを分割することによりEnd-to-End遅延を短縮する方法について説明してきた。ここからは、ムービーフラグメントを分割したときに新たに発生する課題、及び、その解決策について説明する。
[Problems that occur when splitting movie fragments and their solutions]
So far, we have described a method of reducing the End-to-End delay by splitting a movie fragment. From here, the problems newly generated when the movie fragment is divided and the solutions thereof will be described.
まず、背景として、符号化データにおけるピクチャ構造について説明する。図42は、時間スケーラビリティを実現する際の各TemporalIdにおけるピクチャの予測構造の例を示す図である。 First, as a background, the picture structure in the coded data will be described. FIG. 42 is a diagram showing an example of a predictive structure of a picture in each TemporalId when realizing time scalability.
MPEG-4 AVCやHEVC(High Efficiency Video Coding)などの符号化方式においては、他のピクチャから参照可能なBピクチャ(双方向参照予測ピクチャ)を用いることにより時間方向のスケーラビリティ(時間スケーラビリティ)が実現できる。 In coding methods such as MPEG-4 AVC and HEVC (High Efficiency Video Coding), time-wise scalability is realized by using B-pictures (bidirectional reference prediction pictures) that can be referred to by other pictures. can.
図42の(a)に示されるTemporalIdとは、符号化構造の階層の識別子であり、TemporalIdは、値が大きくなるほど深い階層であることを示す。四角のブロックはピクチャを示し、ブロック内のIxは、Iピクチャ(画面内予測ピクチャ)、Pxは、Pピクチャ(前方参照予測ピクチャ)、Bx及びbxは、Bピクチャ(双方向参照予測ピクチャ)を示す。Ix/Px/Bxのxは表示オーダーを示し、ピクチャを表示する順番を表わす。ピクチャ間の矢印は参照関係を示し、例えば、B4のピクチャはI0、B8を参照画像として予測画像を生成することを示す。ここで、一のピクチャが、自らのTemporalIdより大きいTemporalIdを持つ他のピクチャを参照画像として使うことは禁止されている。階層が規定されているのは時間スケーラビリティを持たせるためであり、例えば、図42において全てのピクチャを復号すると120fps(frame per second)の映像が得られるが、TemporalIdが0から3までの階層のみを復号すると60fpsの映像が得られる。 The TemporalId shown in FIG. 42 (a) is an identifier of the hierarchy of the coded structure, and the TemporalId indicates that the larger the value, the deeper the hierarchy. The square block indicates a picture, Ix in the block is an I picture (in-screen prediction picture), Px is a P picture (forward reference prediction picture), and Bx and bx are B pictures (bidirectional reference prediction picture). show. The x of Ix / Px / Bx indicates the display order, and indicates the order in which the pictures are displayed. The arrows between the pictures indicate a reference relationship, and for example, the picture of B4 indicates that I0 and B8 are used as reference images to generate a predicted image. Here, it is prohibited for one picture to use another picture having a TemporalId larger than its own TemporalId as a reference image. The hierarchy is defined to provide time scalability. For example, when all the pictures are decoded in FIG. 42, a video of 120 fps (frame per second) is obtained, but only the hierarchy whose TemporalId is 0 to 3 is specified. Is decoded to obtain a video of 60 fps.
図43は、図42の各ピクチャにおける復号時刻(DTS)と表示時刻(PTS)との関係を示す図である。例えば、図43に示されるピクチャI0は、復号及び表示においてギャップが発生しないように、B4の復号完了後に表示される。 FIG. 43 is a diagram showing the relationship between the decoding time (DTS) and the display time (PTS) in each picture of FIG. 42. For example, the picture I0 shown in FIG. 43 is displayed after the decoding of B4 is completed so that a gap does not occur in the decoding and the display.
図43に示されるように、予測構造にBピクチャが含まれる場合などには、復号順と表示順とが異なるため、受信装置20においてピクチャを復号後にピクチャの遅延処理、及び、ピクチャの並び替え(リオーダ)処理が必要となる。
As shown in FIG. 43, when the B picture is included in the prediction structure, the decoding order and the display order are different. Therefore, the receiving
以上、時間方向のスケーラビリティにおけるピクチャの予測構造の例について説明したが、時間方向のスケーラビリティが用いられない場合においても、予測構造によっては、ピクチャの遅延処理、及び、リオーダ処理が必要となる場合がある。図44は、ピクチャの遅延処理、及び、リオーダ処理が必要となるピクチャの予測構造の一例を示す図である。なお、図44における数字は、復号順を示す。 The example of the picture prediction structure in the time direction scalability has been described above. However, even when the time direction scalability is not used, the picture delay processing and the reorder processing may be required depending on the prediction structure. be. FIG. 44 is a diagram showing an example of a picture prediction structure that requires picture delay processing and reorder processing. The numbers in FIG. 44 indicate the decoding order.
図44に示されるように、予測構造によっては、復号順において先頭となるサンプルと、提示順において先頭となるサンプルが異なる場合があり、図44では、提示順で先頭となるサンプルは、復号順で4番目のサンプルとなる。なお、図44は、予測構造の一例を示すものであり、予測構造はこのような構造に限定されるものではない。他の予測構造においても、復号順において先頭となるサンプルと、提示順において先頭となるサンプルとが異なる場合がある。 As shown in FIG. 44, depending on the prediction structure, the first sample in the decoding order and the first sample in the presentation order may be different. In FIG. 44, the first sample in the presentation order is the decoding order. Is the 4th sample. Note that FIG. 44 shows an example of the prediction structure, and the prediction structure is not limited to such a structure. Also in other prediction structures, the sample that is the first in the decoding order and the sample that is the first in the presentation order may be different.
図45は、図33と同様に、MP4形式で構成されるMPUが複数のムービーフラグメントに分割されて、MMTPペイロード、MMTPパケットに格納される例を示す図である。なお、MPUを構成するサンプル数や、ムービーフラグメントを構成するサンプル数は任意である。例えば、MPUを構成するサンプル数をGOP単位のサンプル数とし、GOP単位の2分の1のサンプル数をムービーフラグメントとして、2つのムービーフラグメントが構成されてもよい。1サンプルが1つのムービーフラグメントとされてもよいし、MPUを構成するサンプルが分割されなくてもよい。 FIG. 45 is a diagram showing an example in which an MPU composed of an MP4 format is divided into a plurality of movie fragments and stored in an MMTP payload and an MMTP packet, as in FIG. 33. The number of samples constituting the MPU and the number of samples constituting the movie fragment are arbitrary. For example, two movie fragments may be configured by using the number of samples constituting the MPU as the number of samples in the GOP unit and the number of samples in half of the GOP unit as the movie fragment. One sample may be one movie fragment, or the samples constituting the MPU may not be divided.
図45では、1つのMPUに2つのムービーフラグメント(moofボックス及びmdatボックス)が含まれる例が示されているが、1つのMPUに含まれるムービーフラグメントは2つでなくてもよい。1つのMPUに含まれるムービーフラグメントは、3つ以上であってもよいし、MPUに含まれるサンプル数であってもよい。また、ムービーフラグメントに格納されるサンプルは等分したサンプル数でなく、任意のサンプル数に分割されてもよい。 FIG. 45 shows an example in which one MPU contains two movie fragments (moof box and mdat box), but one MPU does not have to contain two movie fragments. The movie fragment contained in one MPU may be three or more, or may be the number of samples included in the MPU. Further, the sample stored in the movie fragment may be divided into an arbitrary number of samples instead of the number of equally divided samples.
ムービーフラグメントメタデータ(MFメタデータ)には、ムービーフラグメントに含まれるサンプルのPTS、DTS、オフセット、及びサイズの情報が含まれており、受信装置20は、サンプルを復号する際には、当該サンプルの情報を含むMFメタからPTS及びDTSを抽出し、復号タイミングや提示タイミングを決定する。
The movie fragment metadata (MF metadata) contains information on the PTS, DTS, offset, and size of the sample contained in the movie fragment, and the receiving
ここからは、詳細説明のために、iサンプルの復号時刻の絶対値をDTS(i)と記載し、提示時刻の絶対値をPTS(i)と記載する。 From here on, for detailed explanation, the absolute value of the decoding time of the i-sample is described as DTS (i), and the absolute value of the presentation time is described as PTS (i).
MFメタにおけるmoof内に格納されているタイムスタンプ情報のうちi番目のサンプルの情報は、具体的には、i番目のサンプルと(i+1)番目のサンプルの復号時刻の相対値、及び、i番目のサンプルの復号時刻と提示時刻の相対値であり、これらを以降DT(i)及びCT(i)と記載する。 Of the time stamp information stored in the moof in the MF meta, the information of the i-th sample is specifically the relative value of the decoding time of the i-th sample and the (i + 1) th sample, and the i-th sample. It is a relative value of the decoding time and the presentation time of the sample of, and these are hereinafter referred to as DT (i) and CT (i).
ムービーフラグメントメタデータ#1には、サンプル#1-#3のDT(i)及びCT(i)が含まれており、ムービーフラグメントメタデータ#2には、サンプル#4-#6のDT(i)及びCT(i)が含まれている。
Movie
また、MPU先頭のアクセスユニットのPTS絶対値は、MPUタイムスタンプ記述子などに格納されており、受信装置20は、MPU先頭のアクセスユニットのPTS_MPUと、CT及びDTとに基づいてPTS及びDTSを算出する。
Further, the PTS absolute value of the access unit at the head of the MPU is stored in the MPU time stamp descriptor or the like, and the receiving
図46は、#1-#10のサンプルによりMPUが構成される場合のPTS及びDTSの算出方法と課題とを説明するための図である。 FIG. 46 is a diagram for explaining a method and a problem of calculating PTS and DTS when the MPU is composed of the samples of # 1 to # 10.
図46の(a)は、MPUがムービーフラグメントに分割されない例を示し、図46の(b)は、MPUが5サンプル単位の2つのムービーフラグメントに分割される例を示し、図46の(c)は、MPUがサンプル単位に10のムービーフラグメントに分割される例を示す。 FIG. 46 (a) shows an example in which the MPU is not divided into movie fragments, FIG. 46 (b) shows an example in which the MPU is divided into two movie fragments in units of 5 samples, and FIG. 46 (c) shows an example. ) Shows an example in which the MPU is divided into 10 movie fragments for each sample.
図45で説明したように、MPUタイムスタンプ記述子と、MP4内のタイムスタンプ情報(CT及びDT)とを用いてPTS及びDTSが算出される場合において、図44における提示順で先頭となるサンプルは、復号順で4番目である。このため、MPUタイムスタンプ記述子に格納されているPTSは、復号順で4番目のサンプルのPTS(絶対値)となる。なお、以降では、このサンプルをAサンプルと呼ぶ。また、復号順で先頭のサンプルをBサンプルと呼ぶ。 As described with reference to FIG. 45, when PTS and DTS are calculated using the MPU time stamp descriptor and the time stamp information (CT and DT) in MP4, the sample that is the first in the presentation order in FIG. 44. Is the fourth in the decoding order. Therefore, the PTS stored in the MPU time stamp descriptor becomes the PTS (absolute value) of the fourth sample in the decoding order. Hereinafter, this sample will be referred to as an A sample. Further, the first sample in the decoding order is called a B sample.
タイムスタンプに係る絶対時刻情報は、MPUタイムスタンプ記述子の情報のみであるため、受信装置20は、Aサンプルが到着するまで、その他のサンプルのPTS(絶対時刻)及びDTS(絶対時刻)を算出できない。受信装置20は、BサンプルのPTS及びDTSも算出できない。
Since the absolute time information related to the time stamp is only the information of the MPU time stamp descriptor, the receiving
図46の(a)の例では、Aサンプルは、Bサンプルと同じムービーフラグメントに含まれ、一つのMFメタに格納される。このため、受信装置20は、当該MFメタを受信後、すぐにBサンプルのDTSを決定できる。
In the example of (a) of FIG. 46, the A sample is included in the same movie fragment as the B sample and is stored in one MF meta. Therefore, the receiving
図46の(b)の例では、Aサンプルは、Bサンプルと同じムービーフラグメントに含まれ、一つのMFメタに格納される。このため、受信装置20は、当該MFメタを受信後、すぐにBサンプルのDTSを決定できる。
In the example of (b) of FIG. 46, the A sample is included in the same movie fragment as the B sample and is stored in one MF meta. Therefore, the receiving
図46の(c)の例では、Aサンプルは、Bサンプルと異なるムービーフラグメントに含まれる。このため、受信装置20は、Aサンプルを含むムービーフラグメントのCT及びDTを含むMFメタを受信後でなければ、BサンプルのDTSを決定できない。
In the example of (c) of FIG. 46, the A sample is included in a movie fragment different from the B sample. Therefore, the receiving
したがって、図46の(c)の例の場合には、受信装置20は、Bサンプルの到着後、すぐに復号を開始できない。
Therefore, in the case of the example of (c) of FIG. 46, the receiving
このように、Bサンプルを含むムービーフラグメントに、Aサンプルが含まれない場合には、受信装置20は、Aサンプルを含むムービーフラグメントに係るMFメタを受信した後でなければ、Bサンプルの復号を開始できない。
As described above, when the movie fragment containing the B sample does not include the A sample, the receiving
提示順で先頭のサンプルと、デコード順で先頭のサンプルとが一致しない場合において、AサンプルとBサンプルとが同一ムービーフラグメントに格納されなくなるまでにムービーフラグメントが分割されることにより、この課題は発生する。また、MFメタが後送りであるか先送りであるかにかかわらず、この課題は発生する。 This problem occurs because the movie fragment is divided before the A sample and the B sample are not stored in the same movie fragment when the first sample in the presentation order and the first sample in the decoding order do not match. do. Also, this issue arises regardless of whether the MF meta is postponed or postponed.
このように、提示順で先頭のサンプルと、デコード順で先頭のサンプルとが一致しない場合において、Aサンプルと、Bサンプルとが同一ムービーフラグメントに格納されない場合には、Bサンプルの受信後、すぐにDTSを決定できない。そこで、送信装置15は、別途、BサンプルのDTS(絶対値)、或いはBサンプルのDTS(絶対値)を受信側において算出可能な情報を送信する。このような情報は、制御情報やパケットヘッダ等を用いて送信されてもよい。
In this way, when the first sample in the presentation order and the first sample in the decoding order do not match, and the A sample and the B sample are not stored in the same movie fragment, immediately after receiving the B sample. DTS cannot be determined. Therefore, the
受信装置20は、このような情報を用いてBサンプルのDTS(絶対値)を算出する。図47は、このような情報を用いてDTSが算出される場合の受信動作のフローチャートである。
The receiving
受信装置20は、MPU先頭のムービーフラグメントを受信し(S901)、AサンプルとBサンプルとが同一ムービーフラグメントに格納されているかどうかを判定する(S902)。同一ムービーフラグメントに格納されている場合(S902でYes)は、受信装置20は、BサンプルのDTS(絶対時刻)を用いず、MFメタの情報のみを用いてDTSを算出し、復号を開始する(S904)。なお、ステップS904において、受信装置20は、BサンプルのDTSを用いてDTSを決定してもよい。
The receiving
一方、ステップS902においてAサンプルとBサンプルとが同一ムービーフラグメントに格納されていない場合(S902でNo)、受信装置20は、BサンプルのDTS(絶対時刻)を取得し、DTSを決定し、復号を開始する(S903)。
On the other hand, when the A sample and the B sample are not stored in the same movie fragment in step S902 (No in S902), the receiving
なお、以上の説明では、MMT規格におけるMFメタ(MP4形式のmoof内に格納されているタイムスタンプ情報)を用いて、各サンプルの復号時刻の絶対値と、提示時刻の絶対値とを算出する例について説明したが、MFメタを、各サンプルの復号時刻の絶対値と、提示時刻の絶対値を算出に用いることができる任意の制御情報に置き換えて実施しても良いことは言うまでもない。このような制御情報の例としては、上述したi番目のサンプルと(i+1)番目のサンプルの復号時刻の相対値CT(i)を、i番目のサンプルと(i+1)番目のサンプルの提示時刻の相対値に置き換えた制御情報や、i番目のサンプルと(i+1)番目のサンプルの復号時刻の相対値CT(i)とi番目のサンプルと(i+1)番目のサンプルの提示時刻の相対値との両方を含む制御情報などがある。 In the above description, the absolute value of the decoding time and the absolute value of the presentation time of each sample are calculated using the MF meta (time stamp information stored in the MOOF of MP4 format) in the MMT standard. Although an example has been described, it goes without saying that the MF meta may be replaced with arbitrary control information that can be used for the calculation of the absolute value of the decoding time of each sample and the absolute value of the presentation time. As an example of such control information, the relative value CT (i) of the decoding time of the i-th sample and the (i + 1) th sample described above is used as the presentation time of the i-th sample and the (i + 1) th sample. The control information replaced with the relative value and the relative value of the decoding time of the i-th sample and the (i + 1) th sample CT (i) and the relative value of the presentation time of the i-th sample and the (i + 1) th sample There is control information including both.
(実施の形態3)
[概要]
実施の形態3では、映像、音声、字幕、及びデータ放送などのコンテンツを放送で伝送する場合のコンテンツの送信方法及びデータ構造について説明する。つまり、放送ストリームの再生に特化したコンテンツの送信方法及びデータ構造について説明する。
(Embodiment 3)
[overview]
In the third embodiment, a method of transmitting content and a data structure in the case of transmitting content such as video, audio, subtitles, and data broadcasting by broadcasting will be described. That is, the transmission method and the data structure of the content specialized for the reproduction of the broadcast stream will be described.
なお、実施の形態3では、多重化方式としてMMT方式(以下、単にMMTとも記載する)が用いられる例について説明するが、MPEG-DASHまたはRTPなど、その他の多重化方式が用いられてもよい。 In the third embodiment, an example in which the MMT method (hereinafter, also simply referred to as MMT) is used as the multiplexing method will be described, but other multiplexing methods such as MPEG-DASH or RTP may be used. ..
まず、MMTにおけるデータユニット(DU:Data Unit)のペイロードへの格納方法の詳細について説明する。図48は、MMTにおけるデータユニットのペイロードへの格納方法を説明するための図である。 First, the details of the method of storing the data unit (DU: Data Unit) in the payload in the MMT will be described. FIG. 48 is a diagram for explaining a method of storing a data unit in the payload in MMT.
MMTでは、送信装置は、MPUを構成するデータの一部を、データユニットとしてMMTPペイロードに格納し、ヘッダをつけて伝送する。ヘッダにはMMTPペイロードヘッダ、及び、MMTPパケットヘッダが含まれる。なお、データユニットの単位は、NALユニット単位でもよいし、サンプル単位でもよい。 In the MMT, the transmission device stores a part of the data constituting the MPU as a data unit in the MMTP payload and transmits it with a header. The header includes an MMTP payload header and an MMTP packet header. The unit of the data unit may be a NAL unit unit or a sample unit.
図48の(a)は、送信装置が複数のデータユニットをアグリゲーションして一つのペイロードに格納する例を示す。図48の(a)の例では、複数のデータユニットそれぞれの先頭に、データユニットヘッダ(DUH:Data Unit Header)、及び、データユニット長(DUL:Data Unit Length)が付与され、データユニットヘッダ及びデータユニット長が付与されたデータユニットが複数まとめてペイロードに格納される。 FIG. 48A shows an example in which a transmitting device aggregates a plurality of data units and stores them in one payload. In the example of FIG. 48 (a), a data unit header (DUH: Data Unit Header) and a data unit length (DUL: Data Unit Lens) are added to the heads of each of the plurality of data units, and the data unit header and the data unit header and Multiple data units with the data unit length are collectively stored in the payload.
図48の(b)は、一つのデータユニットを一つのペイロードに格納する例を示す。図48の(b)の例では、データユニットの先頭に、データユニットヘッダが付与されてペイロードに格納される。図48の(c)は、一つのデータユニットを分割し、分割されたデータユニットに、データユニットヘッダが付与されてペイロードに格納される例を示す。 FIG. 48B shows an example of storing one data unit in one payload. In the example of FIG. 48 (b), a data unit header is added to the head of the data unit and stored in the payload. FIG. 48 (c) shows an example in which one data unit is divided, a data unit header is added to the divided data unit, and the data unit is stored in the payload.
データユニットには、映像、音声、または字幕などの同期に関する情報を含むメディアであるtimed-MFU、ファイルなど同期に関する情報を含まないメディアであるnon-timed-MFU、MPUメタデータ、MFメタデータなどの種類があり、データユニットの種類に応じてデータユニットヘッダが定められる。なお、MPUメタデータ、及び、MFメタデータにはデータユニットヘッダは存在しない。 The data unit includes timed-MFU, which is a medium containing information on synchronization such as video, audio, or subtitles, non-timed-MFU, MPU metadata, MF metadata, etc., which is a medium not containing information on synchronization such as files. The data unit header is defined according to the type of data unit. The MPU metadata and the MF metadata do not have a data unit header.
また、送信装置は、異なる種類のデータユニットをアグリゲーションすることは原則としてできないが、異なる種類のデータユニットをアグリゲーションできるように規定されてもよい。例えば、サンプル毎にムービーフラグメントに分割されている場合などのMFメタデータのサイズが小さい場合、MFメタデータとメディアデータとをアグリゲーションすることにより、パケット数を削減でき、さらに、伝送容量を削減することもできる。 Further, although the transmitting device cannot aggregate different types of data units in principle, it may be specified so that different types of data units can be aggregated. For example, when the size of the MF metadata is small, such as when each sample is divided into movie fragments, the number of packets can be reduced and the transmission capacity can be reduced by aggregating the MF metadata and the media data. You can also do it.
データユニットがMFUの場合は、MPU(MP4)を構成するための情報など、MPUの一部の情報がヘッダとして格納される。 When the data unit is MFU, a part of MPU information such as information for configuring MPU (MP4) is stored as a header.
例えば、timed-MFUのヘッダには、movie_fragment_sequence_number、sample_number、offset、priority、及び、dependency_counterなどが含まれ、non-timed-MFUのヘッダにはitem_iDが含まれる。各フィールドの意味はISO/IEC23008-1あるいはARIB STD-B60などの規格に示される。以下、このような規格において規定される各フィールドの意味について説明する。 For example, the header of timed-MFU includes movie_fragment_sequence_number, sample_number, office, priority, and dependency_counter, and the header of non-timed-MFU includes item_D. The meaning of each field is shown in standards such as ISO / IEC23008.1 or ARIB STD-B60. Hereinafter, the meaning of each field specified in such a standard will be described.
movie_fragment_sequence_numberは、MFUが属するムービーフラグメントのシーケンス番号を示し、ISO/IEC14496-12にも示される。 movie_fragment_sequence_number indicates the sequence number of the movie fragment to which the MFU belongs, and is also shown in ISO / IEC14496-12.
sample_numberは、当該MFUが属するサンプル番号を示し、ISO/IEC14496-12にも示される。 sample_number indicates the sample number to which the MFU belongs and is also shown in ISO / IEC14496-12.
offsetは、当該MFUが属するサンプルにおける、MFUのオフセット量をバイト単位で示す。 The offset indicates the offset amount of the MFU in the sample to which the MFU belongs, in bytes.
priorityは、当該MFUが属するMPUにおける、MFUの相対的な重要度を示し、priorityの数字が大きいMFUは、priorityの数字が小さいMFUよりも重要であることを示す。 The priority indicates the relative importance of the MFU in the MPU to which the MFU belongs, and indicates that the MFU having a large priority number is more important than the MFU having a small priority number.
dependency_counterは、復号処理が当該MFUに依存しているMFU数(すなわち、このMFUを復号処理しなければ、その復号処理を行うことができないMFUの数)を示す。例えば、MFUがHEVCである場合においてBピクチャまたはPピクチャがIピクチャを参照する場合、当該BピクチャまたはPピクチャは、Iピクチャを復号処理しなければ復号処理を行うことができない。 Dependency_counter indicates the number of MFUs for which the decoding process depends on the MFU (that is, the number of MFUs for which the decoding process cannot be performed unless the decoding process is performed). For example, when the MFU is HEVC and the B picture or the P picture refers to the I picture, the B picture or the P picture cannot be decoded unless the I picture is decoded.
したがって、MFUがサンプル単位である場合は、IピクチャのMFUにおけるdependency_counterには、当該Iピクチャを参照するピクチャ数が示される。MFUがNALユニット単位の場合は、Iピクチャに属するMFUにおけるdependency_counterには、当該Iピクチャを参照するピクチャに属するNALユニット数が示される。さらに、時間方向階層符号化された映像信号の場合、拡張レイヤのMFUは、ベースレイヤのMFUに依存するため、ベースレイヤのMFUにおけるdependency_counterには、拡張レイヤのMFUの数が示される。本フィールドは、依存するMFU数が決定した後でなければ生成できない。 Therefore, when the MFU is a sample unit, the degree_counter in the MFU of the I picture indicates the number of pictures that refer to the I picture. When the MFU is a NAL unit unit, the degree_counter in the MFU belonging to the I picture indicates the number of NAL units belonging to the picture referring to the I picture. Further, in the case of a time-directed hierarchically coded video signal, the MFU of the expansion layer depends on the MFU of the base layer, so that the degree_counter in the MFU of the base layer indicates the number of MFUs of the expansion layer. This field can only be generated after the number of dependent MFUs has been determined.
item_iDは、アイテムを一意に特定する識別子を示す。 item_iD indicates an identifier that uniquely identifies the item.
[MP4非サポートモード]
図19、及び、図21で説明したように、送信装置がMMTにおけるMPUを伝送する方法としては、MPUメタデータまたはMFメタデータをメディアデータの前または後に送信する方法、及び、メディアデータのみを送信する方法がある。また、受信装置では、MP4に準拠した受信装置や受信方法を用いて復号を行う方法や、ヘッダを用いずに復号する方法がある。
[MP4 non-support mode]
As described with reference to FIGS. 19 and 21, as a method for transmitting the MPU in the MMT, a method of transmitting MPU metadata or MF metadata before or after the media data, and only the media data are used. There is a way to send. Further, in the receiving device, there are a method of performing decoding using a receiving device and a receiving method compliant with MP4, and a method of decoding without using a header.
放送ストリーム再生に特化したデータの送信方法として、例えば、受信装置におけるMP4再構成をサポートしない送信方法がある。 As a data transmission method specialized for broadcasting stream reproduction, for example, there is a transmission method that does not support MP4 reconstruction in a receiving device.
受信装置におけるMP4再構成をサポートしない送信方法とは、例えば、図21の(b)に示されるようにメタデータ(MPUメタデータ及びMFメタデータ)を送信しない方法がある。この場合、MMTPパケットに含まれるフラグメントタイプ(データユニットの種類を示す情報)のフィールド値は、2(=MFU)固定である。 As a transmission method that does not support MP4 reconstruction in the receiving device, for example, there is a method that does not transmit metadata (MPU metadata and MF metadata) as shown in FIG. 21 (b). In this case, the field value of the fragment type (information indicating the type of the data unit) included in the MMTP packet is fixed at 2 (= MFU).
メタデータが送信されない場合は、これまで説明したように、MP4準拠の受信装置などでは、受信したデータをMP4として復号することはできないが、メタデータ(ヘッダ)を用いずに復号することが可能である。 When the metadata is not transmitted, as described above, the received data cannot be decoded as MP4 by an MP4 compliant receiving device or the like, but it can be decoded without using the metadata (header). Is.
そのため、メタデータは放送ストリーム復号及び再生に必ずしも必須の情報ではない。同様に、図48で説明した、timed-MFUにおけるデータユニットヘッダの情報は、受信装置においてMP4を再構成するための情報である。放送ストリーム再生においてMP4を再構成する必要はないため、timed-MFUにおけるデータユニットヘッダ(以下、timed-MFUヘッダとも記載する)の情報は、放送ストリーム再生に必ずしも必要な情報ではない。 Therefore, the metadata is not necessarily essential information for broadcasting stream decoding and reproduction. Similarly, the information in the data unit header in the timing-MFU described with reference to FIG. 48 is information for reconstructing the MP4 in the receiving device. Since it is not necessary to reconstruct the MP4 in the broadcast stream reproduction, the information of the data unit header (hereinafter, also referred to as the timing-MFU header) in the timing-MFU is not necessarily the information necessary for the broadcast stream reproduction.
受信装置は、メタデータ、および、データユニットヘッダにおけるMP4を再構成するための情報(以下、MP4構成情報とも記載する)を用いることにより、容易にMP4を再構成することができる。しかし、受信装置は、メタデータ、および、データユニットヘッダにおけるMP4構成情報のどちらか一方のみが伝送されていたとしても、MP4を再構成することはできない。メタデータ及びMP4を再構成するための情報のどちらか一方のみが伝送されることによるメリットは少なく、必要でない情報を生成及び伝送することは、処理の増大や伝送効率の低下を招く。 The receiving device can easily reconstruct the MP4 by using the metadata and the information for reconstructing the MP4 in the data unit header (hereinafter, also referred to as MP4 configuration information). However, the receiving device cannot reconfigure the MP4 even if only one of the metadata and the MP4 configuration information in the data unit header is transmitted. The merit of transmitting only one of the metadata and the information for reconstructing MP4 is small, and generating and transmitting unnecessary information causes an increase in processing and a decrease in transmission efficiency.
そこで、送信装置は、下記の方法を用いてMP4構成情報のデータ構造や伝送を制御する。送信装置は、メタデータが伝送されるかどうかに基づいて、データユニットヘッダにおいてMP4構成情報を示すか否かを決定する。具体的には、送信装置は、メタデータが伝送される場合には、データユニットヘッダにおいてMP4構成情報を示し、メタデータが伝送されない場合には、データユニットヘッダにおいてMP4構成情報を示さない。 Therefore, the transmission device controls the data structure and transmission of the MP4 configuration information by using the following method. The transmitting device determines whether to indicate MP4 configuration information in the data unit header based on whether the metadata is transmitted. Specifically, the transmitting device shows the MP4 configuration information in the data unit header when the metadata is transmitted, and does not show the MP4 configuration information in the data unit header when the metadata is not transmitted.
データユニットヘッダにおいてMP4構成情報を示さない方法としては、例えば下記の方法を用いることができる。 As a method of not showing MP4 configuration information in the data unit header, for example, the following method can be used.
1.送信装置は、MP4構成情報をreservedとし、運用しない。これにより、MP4構成情報を生成する送出側の処理量(送信装置の処理量)を削減することができる。 1. 1. The transmitting device sets the MP4 configuration information to reserved and does not operate it. As a result, it is possible to reduce the processing amount (processing amount of the transmitting device) on the transmitting side that generates MP4 configuration information.
2.送信装置は、MP4構成情報を削除し、ヘッダ圧縮する。これにより、MP4構成情報を生成する送出側の処理量を削減することができるとともに、伝送容量を削減することができる。 2. 2. The transmitting device deletes the MP4 configuration information and compresses the header. As a result, the amount of processing on the transmitting side that generates MP4 configuration information can be reduced, and the transmission capacity can be reduced.
なお、送信装置は、MP4構成情報を削除し、ヘッダ圧縮する場合には、MP4構成情報を削除(圧縮)したことを示すフラグを示してもよい。フラグは、ヘッダ(MMTPパケットヘッダ、MMTPペイロードヘッダ、データユニットヘッダ)または制御情報などに示される。 When the MP4 configuration information is deleted and the header is compressed, the transmission device may indicate a flag indicating that the MP4 configuration information has been deleted (compressed). The flag is shown in a header (MMTP packet header, MMTP payload header, data unit header), control information, or the like.
また、メタデータが伝送されるかどうかの情報は、あらかじめ定めていてもよいし、別途ヘッダや制御情報にシグナリングし、受信装置に伝送されてもよい。 Further, the information on whether or not the metadata is transmitted may be predetermined, or may be separately signaled to a header or control information and transmitted to the receiving device.
例えば、MFUヘッダに当該MFUに対応するメタデータが伝送されているかの情報が格納されてもよい。 For example, information as to whether the metadata corresponding to the MFU is transmitted may be stored in the MFU header.
一方、受信装置は、メタデータが伝送されているかどうかに基づいて、MP4構成情報が示されているかどうかを判定することができる。 On the other hand, the receiving device can determine whether the MP4 configuration information is shown based on whether the metadata is being transmitted.
ここで、データの送信順序(例えば、MPUメタデータ、MFメタデータ、メディアデータのような順序)が決まっている場合は、受信装置は、メディアデータの前にメタデータが受信されたかどうかに基づいて判定してもよい。 Here, if the order in which the data is transmitted (eg, MPU metadata, MF metadata, media data, etc.) is determined, the receiving device is based on whether the metadata was received before the media data. May be determined.
MP4構成情報が示されている場合には、受信装置は、MP4構成情報をMP4の再構成に用いることができる。或いは、受信装置は、その他のアクセスユニットやNALユニットの先頭の検出などにMP4構成情報を用いることができる。 When the MP4 configuration information is shown, the receiving device can use the MP4 configuration information to reconfigure the MP4. Alternatively, the receiving device can use the MP4 configuration information for detecting the head of another access unit or NAL unit.
なお、MP4構成情報は、timed-MFUヘッダの全部であってもよいし一部であってもよい。 The MP4 configuration information may be the whole or a part of the timing-MFU header.
また、送信装置は、non-timed-MFUヘッダにおいても同様に、メタデータが伝送されるかどうかに基づいて、non-timed-MFUヘッダにおいてitem
idを示すかどうかを決定してもよい。
Similarly, in the non-timed-MFU header, the transmitting device sets the item in the non-timed-MFU header based on whether or not the metadata is transmitted.
You may decide whether to indicate id.
送信装置は、timed-MFUと、non-timed-MFUとのどちらか一方においてのみMP4構成情報を示すとしてもよい。どちらか一方にのみMP4構成情報を示す場合、送信装置は、メタデータが伝送されるかどうかに加え、timed-MFUかnon-timed-MFUかどうかに基づいてMP4構成情報を示すかどうかを決定する。受信装置では、メタデータが伝送されるかどうか、および、timed/non-timedフラグに基づいてMP4構成情報が示されるかどうかを判定することができる。 The transmitter may show MP4 configuration information only in either the timing-MFU or the non-timed-MFU. If the MP4 configuration information is shown to only one of them, the transmitter determines whether to show the MP4 configuration information based on whether the metadata is transmitted and whether it is timing-MFU or non-timed-MFU. do. The receiving device can determine whether the metadata is transmitted and whether the MP4 configuration information is indicated based on the timing / non-timed flag.
なお、以上の説明においては、送信装置は、メタデータ(MPUメタデータ及びMFメタデータの両方)が伝送されるかどうかに基づいてMP4構成情報を示すかどうかを決定した。しかしながら、送信装置は、メタデータの一部(MPUメタデータ、MFメタデータのどちらか一方)が伝送されない場合に、MP4構成情報を示さないとしてもよい。 In the above description, the transmitting device determines whether or not to indicate the MP4 configuration information based on whether or not the metadata (both MPU metadata and MF metadata) is transmitted. However, the transmitting device may not show the MP4 configuration information when a part of the metadata (either MPU metadata or MF metadata) is not transmitted.
また、送信装置は、メタデータ以外の他の情報に基づいてMP4構成情報を示すかどうかを決定してもよい。 The transmitting device may also determine whether to indicate MP4 configuration information based on information other than metadata.
例えば、MP4サポートモード/MP4非サポートモードのようなモードが定義され、送信装置は、MP4サポートモードの場合には、データユニットヘッダにおいてMP4構成情報を示し、MP4非サポートモードの場合には、データユニットヘッダにおいてMP4構成情報を示さないとしてもよい。また、送信装置は、MP4サポートモードの場合には、メタデータを伝送し、かつデータユニットヘッダにおいてMP4構成情報を示し、MP4非サポートモードの場合には、メタデータを伝送せずにデータユニットヘッダにおいてもMP4構成情報を示さないとしてもよい。 For example, a mode such as MP4 supported mode / MP4 unsupported mode is defined, and the transmitting device indicates MP4 configuration information in the data unit header in the case of MP4 supported mode, and data in the case of MP4 unsupported mode. The MP4 configuration information may not be shown in the unit header. Further, the transmitting device transmits metadata in the MP4 support mode and indicates MP4 configuration information in the data unit header, and in the MP4 non-support mode, the data unit header does not transmit the metadata. Also, the MP4 configuration information may not be shown.
[送信装置の動作フロー]
次に、送信装置の動作フローについて説明する。図49は、送信装置の動作フローである。
[Operation flow of transmitter]
Next, the operation flow of the transmitter will be described. FIG. 49 is an operation flow of the transmission device.
送信装置は、まず、メタデータを伝送するかどうかを判定する(S1001)。送信装置は、メタデータを伝送すると判定した場合(S1002でYes)、ステップS1003へ移行し、MP4構成情報を生成し、かつ、ヘッダに格納して伝送する(S1003)。この場合、送信装置は、メタデータも生成し、かつ、伝送する。 The transmitting device first determines whether or not to transmit the metadata (S1001). When the transmission device determines that the metadata is to be transmitted (Yes in S1002), the transmission device proceeds to step S1003, generates MP4 configuration information, stores it in a header, and transmits it (S1003). In this case, the transmitting device also generates and transmits metadata.
一方、送信装置は、メタデータを伝送しないと判定した場合(S1002でNo)、MP4構成情報を生成せず、かつ、ヘッダにも格納せずに伝送する(S1004)。この場合、送信装置は、メタデータを生成せず、伝送しない。 On the other hand, when it is determined that the metadata is not transmitted (No in S1002), the transmission device transmits the MP4 configuration information without generating it and storing it in the header (S1004). In this case, the transmitter does not generate and transmit the metadata.
なお、ステップS1001においてメタデータを伝送するかどうかは、あらかじめ定められていてもよいし、送信装置の内部でメタデータが生成されたかどうか、送信装置の内部でメタデータが伝送されているかどうかに基づいて判定されてもよい。 Whether or not the metadata is transmitted in step S1001 may be predetermined, and whether or not the metadata is generated inside the transmitting device and whether or not the metadata is transmitted inside the transmitting device. It may be determined based on.
[受信装置の動作フロー]
次に、受信装置の動作フローについて説明する。図50は、受信装置の動作フローである。
[Operation flow of receiver]
Next, the operation flow of the receiving device will be described. FIG. 50 is an operation flow of the receiving device.
受信装置は、まず、メタデータが伝送されているかどうかを判定する(S1101)。メタデータが伝送されているかどうかは、MMTPパケットペイロードにおけるフラグメントタイプを監視することにより判定できる。また、伝送されているかどうかがあらかじめ定められていてもよい。 The receiving device first determines whether or not the metadata is being transmitted (S1101). Whether or not metadata is being transmitted can be determined by monitoring the fragment type in the MMTP packet payload. Further, it may be predetermined whether or not the transmission is performed.
受信装置は、メタデータが伝送されていると判定した場合(S1102でYes)、MP4を再構成し、かつ、MP4構成情報を用いた復号処理を実行する(S1103)。一方、メタデータが伝送されていないと判定した場合(S1102でNo)、MP4の再構成処理をせず、かつ、MP4構成情報を用いずに復号処理を実行する(S1104)。 When it is determined that the metadata is transmitted (Yes in S1102), the receiving device reconfigures the MP4 and executes the decoding process using the MP4 configuration information (S1103). On the other hand, when it is determined that the metadata is not transmitted (No in S1102), the MP4 reconstruction process is not performed and the decryption process is executed without using the MP4 configuration information (S1104).
なお、受信装置は、これまで説明した方法を用いて、MP4構成情報を用いずにランダムアクセスポイントの検出、アクセスユニット先頭の検出、NALユニット先頭の検出などをすることが可能であり、復号処理、パケットロスの検出、及びパケットロスからの復帰の処理をすることができる。 The receiving device can detect a random access point, detect the head of an access unit, detect the head of a NAL unit, and the like without using MP4 configuration information by using the methods described so far, and can perform decoding processing. , Packet loss can be detected, and recovery from packet loss can be processed.
例えば、アクセスユニット先頭は、aggregation_flag値が1であるMMTペイロードの先頭データである。このとき、Fragmentation_indicator値は0である。 For example, the head of the access unit is the head data of the MMT payload having an aggregation_flag value of 1. At this time, the Fragmentation_indicator value is 0.
また、スライスセグメントの先頭は、aggregation_flag値が0、fragmentation_indicator値が00或いは01であるMMTペイロードの先頭データである。 Further, the head of the slice segment is the head data of the MMT payload having an aggregation_flag value of 0 and a fragmentation_indicator value of 00 or 01.
受信装置は、以上のような情報に基づき、アクセスユニット先頭の検出、及び、スライスセグメントの検出を行うことができる。 The receiving device can detect the head of the access unit and detect the slice segment based on the above information.
なお、受信装置は、fragmentation_indicator値が00或いは01であるデータユニットの先頭を含むパケットにおいて、NALユニットヘッダを解析し、NALユニットの種類がAUデリミタであること、及び、NALユニットの種類がスライスセグメントであることを検出してもよい。 The receiving device analyzes the NAL unit header in the packet including the head of the data unit whose fragmentation_indicator value is 00 or 01, the type of the NAL unit is the AU delimiter, and the type of the NAL unit is the slice segment. It may be detected that.
[放送シンプルモード]
これまでは、放送ストリーム再生に特化したデータの送信方法として、受信装置におけるMP4構成情報をサポートしない方法を説明したが、放送ストリーム再生に特化したデータの送信方法は、これに限るものではない。
[Broadcast simple mode]
So far, as a method of transmitting data specialized for broadcasting stream reproduction, a method of not supporting MP4 configuration information in a receiving device has been described, but the method of transmitting data specialized for broadcasting stream reproduction is not limited to this. not.
放送ストリーム再生に特化したデータの送信方法として、例えば下記の方法が用いられてもよい。 For example, the following method may be used as a data transmission method specialized for broadcasting stream reproduction.
・送信装置は、放送の固定受信環境では、AL-FECを用いなくてもよい。AL-FECが用いられない場合は、MMTPパケットヘッダにおけるFEC_typeは常に0固定とされる。 -The transmitting device does not have to use AL-FEC in the fixed reception environment of broadcasting. When AL-FEC is not used, FEC_type in the MMTP packet header is always fixed to 0.
・送信装置は、放送の移動受信環境、及び、通信UDP伝送モードにおいては、常にAL-FECを用いてもよい。AL-FECが用いられる場合は、MMTPパケットヘッダにおけるFEC_typeは、常に0或いは1である。 -The transmission device may always use AL-FEC in the mobile reception environment of broadcasting and the communication UDP transmission mode. When AL-FEC is used, FEC_type in the MMTP packet header is always 0 or 1.
・送信装置は、アセットのバルク伝送をしなくてもよい。アセットのバルク伝送がされない場合には、MPT内部のアセットの伝送ローケーション数を示すlocation_infolocationは、1に固定されてよい。 -The transmitter does not have to perform bulk transmission of assets. When the asset is not bulk-transmitted, the location_information indicating the number of transmission locations of the asset inside the MPT may be fixed at 1.
・送信装置は、アセット、プログラム、及びメッセージのハイブリッド伝送をしなくてもよい。 The transmitter does not have to carry out hybrid transmission of assets, programs, and messages.
また、例えば、放送シンプルモードが規定され、送信装置は、放送シンプルモードである場合には、MP4非サポートモードとする、或いは、上記に示した放送ストリーム再生に特化したデータの送信方法を用いるとしてもよい。放送シンプルモードかどうかはあらかじめ定められていてもよいし、送信装置は、放送シンプルモードであることを示すフラグを制御情報として格納し、受信装置に伝送してもよい。 Further, for example, when the broadcast simple mode is defined and the broadcast simple mode is used, the MP4 non-support mode is set, or the data transmission method specialized for the broadcast stream reproduction shown above is used. May be. Whether or not it is in the broadcast simple mode may be predetermined, or the transmitting device may store a flag indicating that the broadcasting simple mode is used as control information and transmit it to the receiving device.
また、送信装置は、図49で説明した、MP4非サポートモードであるかどうか(メタデータが伝送されているかどうか)に基づいて、MP4非サポートモードである場合には、放送シンプルモードとして、上記に示した放送ストリーム再生に特化したデータの送信方法を用いてもよい。 Further, based on whether or not the transmitting device is in the MP4 non-supporting mode (whether or not metadata is transmitted) described with reference to FIG. 49, when the transmitting device is in the MP4 non-supporting mode, the above-mentioned broadcasting simple mode is used. The data transmission method specialized for broadcasting stream reproduction shown in the above may be used.
受信装置は、放送シンプルモードである場合には、MP4非サポートモードであるとして、MP4を再構成せず復号処理をすることができる。 In the case of the broadcast simple mode, the receiving device can perform the decoding process without reconfiguring the MP4, assuming that it is the MP4 non-support mode.
また、受信装置は、放送シンプルモードである場合には、放送に特化した機能であることを判定し、放送に特化して受信処理をすることができる。 Further, in the case of the broadcast simple mode, the receiving device can determine that the function is specialized for broadcasting and can perform reception processing specialized for broadcasting.
これにより、放送シンプルモードである場合には、放送に特化した機能のみを用いることにより、送信装置及び受信装置にとって不要な処理を削減できるばかりでなく、不要な情報を圧縮して伝送しないことにより、伝送オーバーヘッドを削減することができる。 As a result, in the broadcast simple mode, by using only the functions specialized for broadcasting, not only unnecessary processing for the transmitting device and the receiving device can be reduced, but also unnecessary information is not compressed and transmitted. Therefore, the transmission overhead can be reduced.
なお、MP4非サポートモードが用いられる場合には、MP4構成以外の蓄積方法をサポートするヒント情報が示されてもよい。 When the MP4 non-support mode is used, hint information supporting a storage method other than the MP4 configuration may be shown.
MP4構成以外の蓄積方法としては、例えば、MMTパケットやIPパケットをダイレクトに蓄積する方法や、MMTパケットをMPEG-2 TSパケットに変換する方法などがある。 As the storage method other than the MP4 configuration, for example, there are a method of directly storing MMT packets and IP packets, a method of converting MMT packets into MPEG-2 TS packets, and the like.
なお、MP4非サポートモードの場合には、MP4構成にしたがわないフォーマットが用いられてもよい。 In the case of the MP4 non-support mode, a format that does not conform to the MP4 configuration may be used.
例えば、MFUに格納されるデータは、MP4非サポートモードの場合には、MP4形式であるNALユニットの先頭にNALユニットのサイズがついた形式でなく、バイトスタートコードがついた形式にされてもよい。 For example, in the case of MP4 non-support mode, the data stored in the MFU may be in a format with a byte start code instead of a format in which the size of the NAL unit is added to the beginning of the NAL unit in MP4 format. good.
MMTでは、アセットのタイプを示すアセットタイプは、MP4REG(http://www.mp4ra.org)に登録される4CCで記載され、映像信号としてHEVCを用いる場合、’HEV1’または’HVC1’が用いられる。’HVC1’は、サンプルの中にパラメータセットを含んでもよい形式であり、’HEV1’はサンプルの中にパラメータセットを含まず、MPUメタデータにおけるサンプルエントリにパラメータセットを含む形式である。 In MMT, the asset type indicating the asset type is described by 4CC registered in MP4REG (http://www.mp4ra.org), and when HEVC is used as a video signal,'HEV1' or'HVC1'is used. Be done. 'HVC1' is a format in which the parameter set may be included in the sample, and'HEV1'is a format in which the parameter set is not included in the sample and the parameter set is included in the sample entry in the MPU metadata.
放送シンプルモードまたはMP4非サポートモードの場合において、MPUメタデータ及びMFメタデータが伝送されない場合には、必ずサンプルの中にパラメータセットを含めると規定されてもよい。また、アセットタイプに’HEV1’と’HVC1’のどちらが示されている場合にも、必ず’HVC1’の形式をとると規定されてもよい。 In the case of broadcast simple mode or MP4 non-support mode, it may be specified that the parameter set is always included in the sample when the MPU metadata and the MF metadata are not transmitted. Further, regardless of whether the asset type indicates "HEV1" or "HVC1", it may be specified that the asset type always takes the form of "HVC1".
[補足1:送信装置]
以上のように、メタデータが送信されていない場合に、MP4構成情報をreservedとし、運用しない送信装置は、図51のように構成することも可能である。図51は、送信装置の具体的構成の例を示す図である。
[Supplement 1: Transmitter]
As described above, when the metadata is not transmitted, the MP4 configuration information is set to reserved, and the transmission device that is not operated can be configured as shown in FIG. 51. FIG. 51 is a diagram showing an example of a specific configuration of the transmission device.
送信装置300は、符号化部301と、付与部302と、送信部303とを備える。符号化部301、付与部302、及び送信部303のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The
符号化部301は、映像信号または音声信号を符号化してサンプルデータを生成する。サンプルデータは、具体的には、データユニットである。
The
付与部302は、映像信号または音声信号が符号化されたデータであるサンプルデータに、MP4構成情報を含むヘッダ情報を付与する。MP4構成情報は、受信側において当該サンプルデータをMP4フォーマットのファイルとして再構成するための情報であって、サンプルデータの提示時刻が定められているか否かに応じて内容が異なる情報である。
The adding
上述のように、付与部302は、提示時刻が定められているサンプルデータ(同期に関する情報を含むサンプルデータ)の一例であるtimed-MFUのヘッダ(ヘッダ情報)に、movie_fragment_sequence_number、sample_number、offset、priority、及び、dependency_counterなどのMP4構成情報を含める。
As described above, the
一方で、付与部302は、提示時刻が定められていないサンプルデータ(同期に関する情報を含まないサンプルデータ)の一例である、timed-MFUのヘッダ(ヘッダ情報)には、item_idなどのMP4構成情報を含める。
On the other hand, the
そして、付与部302は、送信部303によってサンプルデータに対応するメタデータが送信されない場合(例えば、図21の(b)のような場合)には、サンプルデータの提示時刻が定められているか否かに応じて、MP4構成情報を含まないヘッダ情報をサンプルデータに付与する。
Then, when the metadata corresponding to the sample data is not transmitted by the transmission unit 303 (for example, in the case of (b) of FIG. 21), the granting
付与部302は、具体的には、サンプルデータの提示時刻が定められている場合には、第一のMP4構成情報を含まないヘッダ情報をサンプルデータに付与し、サンプルデータの提示時刻が定められていない場合には、第二のMP4構成情報を含むヘッダ情報を前記サンプルデータに付与する。
Specifically, when the presentation time of the sample data is determined, the
例えば、付与部302は、図49のステップS1004に示されるように、送信部303によってサンプルデータに対応するメタデータが送信されない場合には、MP4構成情報をreserved(固定値)とすることにより、MP4構成情報を実質的に生成せず、かつ、実質的にヘッダ(ヘッダ情報)に格納しない。なお、メタデータには、MPUメタデータ、及び、ムービーフラグメントメタデータが含まれる。
For example, as shown in step S1004 of FIG. 49, the granting
送信部303は、ヘッダ情報が付与されたサンプルデータを送信する。送信部303は、より具体的には、ヘッダ情報が付与されたサンプルデータをMMT方式でパケット化して送信する。
The
上述のように、放送ストリームの再生に特化した送信方法及び受信方法では、受信装置でデータユニットをMP4に再構成する必要はない。受信装置がMP4に再構成する必要がない場合、MP4構成情報などの不要な情報を生成しないことで送信装置の処理は軽減される。 As described above, in the transmission method and the reception method specialized for the reproduction of the broadcast stream, it is not necessary to reconfigure the data unit to MP4 in the receiving device. When the receiving device does not need to be reconfigured to MP4, the processing of the transmitting device is reduced by not generating unnecessary information such as MP4 configuration information.
一方で、送信装置は、必要な情報は送らなくてはならないが、余計な追加情報などを別途送信しなくて済むように、規格との整合性は保つ必要がある。 On the other hand, the transmitting device must send necessary information, but it is necessary to maintain consistency with the standard so that it is not necessary to separately send extra additional information and the like.
送信装置300のような構成によれば、MP4構成情報が格納される領域を固定値にすることなどにより、MP4構成情報を送信せず、必要な情報のみを規格に基づいて送信し、余計な追加情報を送信しなくて済む効果が得られる。つまり、送信装置の構成及び送信装置の処理量を削減することができる。また、不要なデータが送信されないことにより、伝送効率を向上させることができる。
According to the configuration such as the
[補足2:受信装置]
また、送信装置300に対応する受信装置は、例えば、図52のように構成されてもよい。図52は、受信装置の構成の別の例を示す図である。
[Supplement 2: Receiver]
Further, the receiving device corresponding to the transmitting
受信装置400は、受信部401と、復号部402とを備える。受信部401、及び、復号部402は、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The receiving
受信部401は、映像信号または音声信号が符号化されたデータであるサンプルデータであって、当該サンプルデータをMP4フォーマットのファイルとして再構成するためのMP4構成情報を含むヘッダ情報が付与されたサンプルデータを受信する。
The receiving
復号部402は、受信部によってサンプルデータに対応するメタデータが受信されなかった場合であって、サンプルデータの提示時刻が定められている場合に、MP4構成情報を使用せずにサンプルデータを復号する。
The
例えば、復号部402は、図50のステップS1104に示されるように、受信部401によってサンプルデータに対応するメタデータが受信されない場合には、MP4構成情報を用いずに復号処理を実行する。
For example, as shown in step S1104 of FIG. 50, when the receiving
これにより、受信装置400の構成及び受信装置400における処理量を削減することができる。
Thereby, the configuration of the receiving
(実施の形態4)
[概要]
実施の形態4では、ファイルなど同期に関する情報を含まない非同期(non-timed)メディアのMPUへの格納方法と、MMTPパケットでの伝送方法について説明する。なお、実施の形態4では、MMTにおけるMPUを例に説明するが、同じMP4ベースであるDASHでも適用可能である。
(Embodiment 4)
[overview]
In the fourth embodiment, a method of storing an asynchronous (non-timed) medium that does not include information related to synchronization such as a file in the MPU and a method of transmitting an MMTP packet will be described. In the fourth embodiment, MPU in MMT will be described as an example, but DASH, which is the same MP4 base, can also be applied.
まず、non-timedメディア(以下、「非同期メディアデータ」とも言う)のMPUへの格納方法の詳細について図53を用いて説明する。図53は、non-timedメディアのMPUへの格納方法、及び、MMTPパケットでの伝送方法を示す図である。 First, the details of the storage method of the non-timed media (hereinafter, also referred to as “asynchronous media data”) in the MPU will be described with reference to FIG. 53. FIG. 53 is a diagram showing a method of storing a non-timed medium in an MPU and a method of transmitting an MMTP packet.
non-timedメディアを格納するMPUは、ftyp、mmpu、moov、metaなどのボックスで構成され、MPUに格納するファイルに関する情報が格納される。metaボックス内には複数のidatボックスを格納することができ、idatボックスには1つのファイルがitemとして格納される。 The MPU that stores the non-timed media is composed of boxes such as ftyp, mmpu, moov, and meta, and stores information about files to be stored in the MPU. A plurality of idat boxes can be stored in the meta box, and one file is stored as an item in the idat box.
ftyp,mmpu,moov,metaボックスの一部はMPUメタデータとして一つのデータユニットを構成し、item或いはidatボックスはMFUとしてデータユニットを構成する。 A part of the ftyp, mmpu, moov, and meta boxes constitutes one data unit as MPU metadata, and the item or idat box constitutes a data unit as MFU.
データユニットはアグリゲーションやフラグメントされた後、データユニットヘッダ、MMTPペイロードヘッダ、及びMMTPパケットヘッダが付与されてMMTPパケットとして伝送される。 After the data unit is aggregated or fragmented, the data unit header, the MMTP payload header, and the MMTP packet header are added and transmitted as an MMTP packet.
なお、図53では、File#1とFile#2とが1つのMPUに格納される例を示している。MPUメタデータは分割されておらず、また、MFUは分割されてMMTPパケットに格納されているが、これに限るものではなく、データユニットのサイズに応じてアグリゲーションやフラグメントされてもよい。また、MPUメタデータは伝送されなくてもよく、その場合は、MFUのみが伝送される。
Note that FIG. 53 shows an example in which
データユニットヘッダなどのヘッダ情報には、itemID(アイテムを一意に特定する識別子)が示され、MMTPペイロードヘッダやMMTPパケットヘッダには、パケットシーケンス番号(パケット毎のシーケンス番号)、及び、MPUシーケンス番号(MPUのシーケンス番号、アセット内で一意の番号。)が含まれる。 The itemID (identifier that uniquely identifies the item) is shown in the header information such as the data unit header, and the packet sequence number (sequence number for each packet) and the MPU sequence number are shown in the MMTP payload header and MMTP packet header. (MPU sequence number, unique number within the asset.) Is included.
なお、データユニットヘッダ以外のMMTPペイロードヘッダやMMTPパケットヘッダのデータ構造はこれまで説明したtimedメディア(以下、「同期メディアデータ」とも言う。)と同様であり、aggregation_flag,fragmentation_indicator,fragment_counterなどが含まれる。 The data structures of the MMTP payload header and MMTP packet header other than the data unit header are the same as those of the timed media (hereinafter, also referred to as “synchronous media data”) described so far, and include aggregation_flag, fragmentation_indicator, fragment_counter, and the like. ..
次に、ファイル(=Item=MFU)を分割してパケット化する場合のヘッダ情報の具体例をについて、図54及び図55を用いて説明する。 Next, a specific example of the header information when the file (= Item = MFU) is divided into packets will be described with reference to FIGS. 54 and 55.
図54及び図55は、ファイルが分割されることにより得られた複数の分割データ毎にパケット化して伝送する例を示す図である。図54及び図55は、具体的には、分割されたMMTPパケット毎のヘッダ情報であるデータユニットヘッダ、MMTPペイロードヘッダ、MMTPパケットヘッダのいずれかに含まれる情報(パケットシーケンス番号、フラグメントカウンタ、フラグメンテーションインジケータ、MPUシーケンス番号、アイテムID)を示す。なお、図54は、File#1がM個(M<=256)に分割される例を示す図であり、図55は、File#2がN個(256<N)に分割される例を示す図である。
54 and 55 are diagrams showing an example of packetizing and transmitting each of a plurality of divided data obtained by dividing the file. Specifically, FIGS. 54 and 55 show information (packet sequence number, fragment counter, fragmentation) included in any of the data unit header, the MMTP payload header, and the MMTP packet header, which are header information for each divided MMTP packet. Indicator, MPU sequence number, item ID). Note that FIG. 54 is a diagram showing an example in which
分割データ番号は、ファイル先頭からの分割データのインデックスを示しており、この情報は伝送されない。つまり、分割データ番号は、ヘッダ情報には含まれない。また、分割データ番号は、ファイルを分割することにより得られた複数の分割データのそれぞれに対応するパケットに付与される番号であり、先頭のパケットから昇順に1ずつ加算されて付与される番号である。 The divided data number indicates the index of the divided data from the beginning of the file, and this information is not transmitted. That is, the divided data number is not included in the header information. The divided data number is a number assigned to the packet corresponding to each of the plurality of divided data obtained by dividing the file, and is a number assigned by adding 1 in ascending order from the first packet. be.
パケットシーケンス番号は、同じパケットIDを持つパケットのシーケンス番号であり、図54及び図55では、ファイル先頭の分割データをAとして、ファイル最後の分割データまで連続した番号が付与される。パケットシーケンス番号は、ファイル先頭の分割データから昇順に1ずつ加算されて付与される番号であり、分割データ番号に対応する番号である。 The packet sequence number is a sequence number of packets having the same packet ID, and in FIGS. 54 and 55, the divided data at the beginning of the file is set as A, and consecutive numbers are assigned up to the divided data at the end of the file. The packet sequence number is a number assigned by adding 1 in ascending order from the divided data at the beginning of the file, and is a number corresponding to the divided data number.
フラグメントカウンタは、1つのファイルが分割されることにより得られた複数の分割データのうち当該分割データよりも後にある複数の分割データの数を示す。また、フラグメントカウンタは、1つのファイルを分割することにより得られた複数の分割データの数である分割データ数が256を超える場合、分割データ数を256で除した余りを示す。図54の例では、分割データ数が256以下であるため、フラグメントカウンタのフィールド値は(M-分割データ番号)となる。一方、図55の例では、分割データ数が256を超えるため、(N-分割データ番号)を256で除した値((N-分割データ番号)%256)となる。 The fragment counter indicates the number of the plurality of divided data after the divided data among the plurality of divided data obtained by dividing one file. Further, the fragment counter indicates a remainder obtained by dividing the number of divided data by 256 when the number of divided data, which is the number of the plurality of divided data obtained by dividing one file, exceeds 256. In the example of FIG. 54, since the number of divided data is 256 or less, the field value of the fragment counter is (M-divided data number). On the other hand, in the example of FIG. 55, since the number of divided data exceeds 256, the value is obtained by dividing (N-divided data number) by 256 ((N-divided data number)% 256).
なお、フラグメンテーションインジケータは、MMTPパケットに格納するデータの分割の状態を示し、分割されたデータユニットにおける先頭の分割データであるか、最後の分割データであるか、それ以外の分割データであるか、或いは、分割されていない1つ以上のデータユニットであるかを示す値である。具体的には、フラグメンテーションインジケータは、先頭の分割データでは「01」であり、最後の分割データでは「11」であり、残りの分割データでは「10」であり、分割されていないデータユニットでは「00」である。 The fragmentation indicator indicates the state of division of the data stored in the MMTP packet, and whether it is the first divided data, the last divided data, or other divided data in the divided data unit. Alternatively, it is a value indicating whether the data unit is one or more undivided data units. Specifically, the fragmentation indicator is "01" for the first split data, "11" for the last split data, "10" for the remaining split data, and "10" for the unsplit data unit. 00 ".
本実施の形態では、分割データ数が256を超える場合、分割データ数を256で除した余りを示すとして説明するが、分割データ数は256に限らず、他の数(所定の数)であってもよい。 In the present embodiment, when the number of divided data exceeds 256, it is described as indicating a remainder obtained by dividing the number of divided data by 256, but the number of divided data is not limited to 256 and may be another number (predetermined number). You may.
図54及び図55に示すようにファイルを分割し、ファイルを分割することにより得られた複数の分割データのそれぞれに従来のヘッダ情報を付与して伝送する場合、受信装置において、受信したMMTPパケットに格納されるデータが、元のファイルにおいて何番目の分割データであるか(分割データ番号)、及び、ファイルの分割データ数、または、分割データ番号及び分割データ数を導出できる情報がない。このため、従来の伝送方法では、MMTPパケットを受信しても、受信したMMTPパケットに格納されるデータの分割データ番号や分割データ数を一意に検出することができない。 As shown in FIGS. 54 and 55, when the file is divided and the conventional header information is added to each of the plurality of divided data obtained by dividing the file and transmitted, the MMTP packet received by the receiving device is transmitted. There is no information on which number of divided data in the original file the data stored in is (divided data number), the number of divided data in the file, or the divided data number and the number of divided data can be derived. Therefore, in the conventional transmission method, even if the MMTP packet is received, the divided data number and the number of divided data of the data stored in the received MMTP packet cannot be uniquely detected.
例えば、図54のように分割データ数が256以下であり、分割データ数があらかじめ256以下であることが既知である場合には、フラグメントカウンタを参照することにより、分割データ番号や分割データ数を特定することが可能である。しかし、分割データ数が256以上である場合には、分割データ番号や分割データ数を特定できない。 For example, when it is known that the number of divided data is 256 or less and the number of divided data is 256 or less in advance as shown in FIG. 54, the divided data number and the number of divided data can be determined by referring to the fragment counter. It is possible to identify. However, when the number of divided data is 256 or more, the divided data number and the number of divided data cannot be specified.
なお、ファイルの分割データ数を256以下に制限する場合、1つのパケットで伝送可能なデータサイズをx[bytes]とした場合、伝送可能なファイルの最大サイズは x * 256[bytes]に制限される。例えば、放送ではx=4k[bytes]が想定されており、この場合、伝送可能なファイルの最大サイズは4k*256=1M[bytes]に制限される。従って、1[Mbytes]を越えるファイルを伝送したい場合にはファイルの分割データ数を256以下に制限することはできない。 When the number of divided data in a file is limited to 256 or less, when the data size that can be transmitted in one packet is x [bytes], the maximum size of the file that can be transmitted is limited to x * 256 [bytes]. File. For example, in broadcasting, x = 4k [bytes] is assumed, and in this case, the maximum size of a file that can be transmitted is limited to 4k * 256 = 1M [bytes]. Therefore, when it is desired to transmit a file exceeding 1 [Mbytes], the number of divided data of the file cannot be limited to 256 or less.
また、例えば、フラグメンテーションインジケータを参照することでファイルの先頭の分割データや最後の分割データを検出することができるため、ファイルの最後の分割データを含むMMTPパケットが受信されるまでMMTPパケット数をカウントしたり、ファイルの最後の分割データを含むMMTPパケットを受信したりした後に、パケットシーケンス番号と組み合わせることにより、分割データ番号や分割データ数を算出することは可能であるため、フラグメンテーションインジケータとパケットシーケンス番号とを組み合わせることにより分割データ番号及び分割データ数をシグナリングするとしてもよい。しかし、ファイルの途中の分割データ(つまり、ファイルの先頭の分割データでもファイルの最後の分割データでもない分割データ)を含むMMTPパケットから受信を開始した場合、当該分割データの分割データ番号や分割データ数を特定できない。当該分割データの分割データ番号や分割データ数は、ファイル最後の分割データを含むMMTPパケットを受信後に初めて特定できる。 Further, for example, since the first divided data and the last divided data of the file can be detected by referring to the fragmentation indicator, the number of MMTP packets is counted until the MMTP packet including the last divided data of the file is received. Since it is possible to calculate the divided data number and the number of divided data by combining with the packet sequence number after receiving the MMTP packet containing the last divided data of the file, the fragmentation indicator and the packet sequence The divided data number and the number of divided data may be signaled by combining with the number. However, when reception is started from an MMTP packet containing divided data in the middle of the file (that is, divided data that is neither the divided data at the beginning of the file nor the divided data at the end of the file), the divided data number or divided data of the divided data is started. The number cannot be specified. The divided data number and the number of divided data of the divided data can be specified only after receiving the MMTP packet including the divided data at the end of the file.
図54及び図55で説明した課題、つまり、ファイルの分割データを含むパケットを途中から受信した時点で、ファイルの分割データの分割データ番号および分割データ数を一意に決定するために、次の方法を用いる。 The following method is used to uniquely determine the divided data number and the number of divided data of the divided data of the file at the time when the problem described with reference to FIGS. 54 and 55, that is, the packet containing the divided data of the file is received from the middle. Is used.
まず、分割データ番号について説明する。 First, the divided data number will be described.
分割データ番号については、ファイル(item)の先頭の分割データにおけるパケットシーケンス番号をシグナリングする。 For the divided data number, the packet sequence number in the divided data at the beginning of the file (item) is signaled.
シグナリングする方法として、ファイルを管理する制御情報に格納する。具体的には、図54及び図55においてファイルの先頭の分割データのパケットシーケンス番号Aを、制御情報に格納する。受信装置では、制御情報よりAの値を取得し、パケットヘッダに示されるパケットシーケンス番号より分割データ番号を算出する。 As a signaling method, it is stored in the control information that manages the file. Specifically, in FIGS. 54 and 55, the packet sequence number A of the divided data at the beginning of the file is stored in the control information. The receiving device acquires the value of A from the control information and calculates the divided data number from the packet sequence number shown in the packet header.
分割データの分割データ番号は、当該分割データのパケットシーケンス番号から先頭の分割データのパケットシーケンス番号Aを減ずることにより求められる。 The divided data number of the divided data is obtained by subtracting the packet sequence number A of the first divided data from the packet sequence number of the divided data.
ファイルを管理する制御情報としては、例えば、ARIB STD-B60に規定されるアセット管理テーブルがある。アセット管理テーブルには、ファイル毎に、ファイルサイズやバージョン情報などが示され、データ伝送メッセージに格納されて伝送される。図56は、アセット管理テーブルにおけるファイル毎のループのシンタックスを示す図である。 As control information for managing files, for example, there is an asset management table defined in ARIB STD-B60. In the asset management table, file size, version information, etc. are shown for each file, and they are stored in a data transmission message and transmitted. FIG. 56 is a diagram showing the syntax of the loop for each file in the asset management table.
既存のアセット管理テーブルの領域が拡張できない場合には、アイテムの情報を示すitem_info_byteフィールドの一部の32bitの領域を用いてシグナリングしてもよい。item_info_byteの一部領域に、ファイル(item)の先頭の分割データにおけるパケットシーケンス番号が示されているかどうかを示すフラグを制御情報の例えばreserved_future_useフィールドに示してもよい。 If the area of the existing asset management table cannot be expanded, signaling may be performed using a 32-bit area of a part of the item_info_byte field indicating item information. A flag indicating whether or not the packet sequence number in the divided data at the beginning of the file (item) is indicated in a part of the item_info_byte area may be indicated in, for example, the reserved_future_use field of the control information.
データカルーセルなどファイルを繰り返し伝送する場合には、複数のパケットシーケンス番号を示してもよいし、直後に伝送するファイルの先頭のパケットシーケンス番号を示してもよい。 When a file such as a data carousel is repeatedly transmitted, a plurality of packet sequence numbers may be indicated, or the packet sequence number at the beginning of the file to be transmitted immediately after may be indicated.
ファイル先頭の分割データのパケットシーケンス番号に限らず、ファイルの分割データ番号とパケットシーケンス番号を紐づける情報であればよい。 Not limited to the packet sequence number of the divided data at the beginning of the file, any information may be used as long as it is information that associates the divided data number of the file with the packet sequence number.
次に、分割データ数について説明する。 Next, the number of divided data will be described.
アセット管理テーブルに含まれるファイル毎のループの順番を、ファイルの伝送順と規定してもよい。これにより、伝送順で連続する2つのファイルの先頭のパケットシーケンス番号がわかるため、後に伝送されるファイルの先頭パケットシーケンス番号から前に伝送されるファイルの先頭パケットシーケンス番号を減ずることにより、前に伝送されるファイルの分割データ数を特定することができる。つまり、例えば、図54に示すFile#1と図55に示すFile#2とがこの順に連続したファイルである場合には、File#1の最後のパケットシーケンス番号とFile#2の先頭のパケットシーケンス番号とは連続した番号が付与されている。
The order of loops for each file included in the asset management table may be defined as the file transmission order. As a result, since the packet sequence number at the beginning of two consecutive files in the transmission order can be known, the first packet sequence number of the file transmitted before can be subtracted from the first packet sequence number of the file transmitted later. It is possible to specify the number of divided data of the transmitted file. That is, for example, when
また、ファイルの分割方法を規定することにより、ファイルの分割データ数を特定できるように規定してもよい。例えば、分割データ数がNの場合、1~(N-1)番目の分割データのそれぞれのサイズはLとし、N番目の分割データのサイズは端数(item_size-L*(N-1))と規定することにより、アセット管理テーブルに示されるitem_sizeから分割データ数を逆算できる。この場合、(item_size / L)を切り上げた整数値が分割データ数となる。なお、ファイルの分割方法は、これに限るものではない。 Further, by specifying the method of dividing the file, it may be specified so that the number of divided data of the file can be specified. For example, when the number of divided data is N, the size of each of the 1st to (N-1) th divided data is L, and the size of the Nth divided data is a fraction (item_size-L * (N-1)). By specifying, the number of divided data can be calculated back from item_size shown in the asset management table. In this case, the integer value rounded up to (item_size / L) is the number of divided data. The method of dividing the file is not limited to this.
また、分割データ数を直接アセット管理テーブルに格納してもよい。 Further, the number of divided data may be stored directly in the asset management table.
受信装置では、上記の方法を用いることにより、制御情報を受信し、制御情報に基づいて分割データ数を算出する。また、制御情報に基づいてファイルの分割データ番号に対応するパケットシーケンス番号を算出できる。なお、制御情報の受信のタイミングより、分割データのパケットの受信のタイミングが早い場合は、制御情報を受信したタイミングで分割データ番号や分割データ数を算出してもよい。 The receiving device receives the control information by using the above method, and calculates the number of divided data based on the control information. Further, the packet sequence number corresponding to the divided data number of the file can be calculated based on the control information. If the timing of receiving the divided data packet is earlier than the timing of receiving the control information, the divided data number or the number of divided data may be calculated at the timing of receiving the control information.
なお、上記方法を用いて分割データ番号、或いは分割データ数をシグナリングする場合、フラグメントカウンタに基づいて分割データ番号や分割データ数を特定することはなく、フラグメントカウンタは不要なデータとなる。そこで、非同期メディアの伝送において、上記方法等を用いて分割データ番号、および、分割データ数を特定できる情報がシグナリングされている場合には、フラグメントカウンタは運用しない、或いは、ヘッダ圧縮してもよい。これにより、送信装置や受信装置の処理量を削減することができ、伝送効率を向上させることもできる。つまり、非同期メディアを送信する場合には、フラグメントカウンタをreserved(無効化)としてもよい。具体的には、フラグメントカウンタの値を例えば「0」の固定値としてもよい。また、非同期メディアを受信する場合には、フラグメントカウンタを無視してもよい。 When signaling the divided data number or the number of divided data by using the above method, the divided data number and the number of divided data are not specified based on the fragment counter, and the fragment counter becomes unnecessary data. Therefore, in the transmission of asynchronous media, if the divided data number and the information that can specify the number of divided data are signaled by using the above method or the like, the fragment counter may not be operated or the header may be compressed. .. As a result, the processing amount of the transmitting device and the receiving device can be reduced, and the transmission efficiency can be improved. That is, when transmitting asynchronous media, the fragment counter may be reserved. Specifically, the value of the fragment counter may be a fixed value of, for example, "0". Further, when receiving asynchronous media, the fragment counter may be ignored.
映像や音声などの同期メディアを格納する場合においては、送出装置におけるMMTPパケットの送信順と受信装置におけるMMTPパケットの到着順が一致しており、かつ、パケットが再送されない。このような場合において、パケットロスを検出して再構成する必要がない場合には、フラグメントカウンタを運用しないとしてもよい。言い換えると、この場合では、フラグメントカウンタをreserved(無効化)としてもよい。 When storing synchronous media such as video and audio, the transmission order of MMTP packets in the transmitting device and the arrival order of MMTP packets in the receiving device match, and the packets are not retransmitted. In such a case, if it is not necessary to detect and reconstruct the packet loss, the fragment counter may not be operated. In other words, in this case, the fragment counter may be reserved.
また、フラグメントカウンタを用いなくても、ランダムアクセスポイントの検出、アクセスユニット先頭の検出、NALユニット先頭の検出などをすることが可能であり、復号処理や、パケットロスの検出、パケットロスからの復帰の処理をすることができる。 In addition, it is possible to detect a random access point, detect the head of an access unit, detect the head of a NAL unit, etc. without using a fragment counter, and it is possible to perform decoding processing, detect packet loss, and recover from packet loss. Can be processed.
また、ライブ放送などのリアルタイムなコンテンツの伝送では、より低遅延な伝送が求められ、符号化が完了したデータから順次パケット化して送出することが求められる。しかし、リアルタイムなコンテンツの伝送において、従来のフラグメントカウンタでは、先頭の分割データの送出時に分割データ数は決定できないため、先頭の分割データの送出は、データユニットの符号化がすべて完了し、分割データ数が決定した後となり、遅延が発生する。このような場合であっても、上記の方法を用いて、フラグメントカウンタを運用しないことにより、この遅延を削減できる。 Further, in the transmission of real-time contents such as live broadcasting, lower delay transmission is required, and it is required to sequentially packetize and transmit the coded data. However, in the transmission of real-time content, the conventional fragment counter cannot determine the number of divided data when the first divided data is transmitted. Therefore, in the transmission of the first divided data, all the coding of the data unit is completed and the divided data is transmitted. There will be a delay after the number has been determined. Even in such a case, this delay can be reduced by not operating the fragment counter by using the above method.
図57は、受信装置における分割データ番号を特定する動作フローである。 FIG. 57 is an operation flow for specifying the divided data number in the receiving device.
受信装置は、ファイルの情報が記載された制御情報を取得する(S1201)。受信装置は、制御情報にファイル先頭のパケットシーケンス番号が示されているかどうかを判定し(S1202)、制御情報にファイル先頭のパケットシーケンス番号が示されている場合には(S1202でYes)、ファイルの分割データの分割データ番号に対応するパケットシーケンス番号を算出する(S1203)。そして、受信装置は、分割データが格納されたMMTPパケットを取得後、取得したMMTPパケットのパケットヘッダに格納されるパケットシーケンス番号からファイルの分割データ番号を特定する(S1204)。一方、受信装置は、制御情報にファイル先頭のパケットシーケンス番号が示されていない場合には(S1202でNo)、ファイル最後の分割データが含まれるMMTPパケットを取得後、取得したMMTPパケットのパケットヘッダに格納されるフラグメントインジケータ、および、パケットシーケンス番号を用いて分割データ番号を特定する(S1205)。 The receiving device acquires the control information in which the file information is described (S1201). The receiving device determines whether or not the packet sequence number at the beginning of the file is indicated in the control information (S1202), and if the packet sequence number at the beginning of the file is indicated in the control information (Yes in S1202), the file is filed. The packet sequence number corresponding to the divided data number of the divided data of is calculated (S1203). Then, after acquiring the MMTP packet in which the divided data is stored, the receiving device identifies the divided data number of the file from the packet sequence number stored in the packet header of the acquired MMTP packet (S1204). On the other hand, when the control information does not indicate the packet sequence number at the beginning of the file (No in S1202), the receiving device acquires the MMTP packet containing the divided data at the end of the file, and then acquires the packet header of the MMTP packet. The divided data number is specified by using the fragment indicator stored in the packet sequence number and the packet sequence number (S1205).
図58は、受信装置における分割データ数を特定する動作フローである。 FIG. 58 is an operation flow for specifying the number of divided data in the receiving device.
受信装置は、ファイルの情報が記載された制御情報を取得する(S1301)。受信装置は、制御情報にファイルの分割データ数を算出可能な情報が含まれているかどうかを判定し(S1302)、分割データ数を算出可能な情報が含まれていると判定した場合には、(S1302でYes)、制御情報に含まれる情報に基づいて分割データ数を算出する(S1303)。一方、受信装置は、分割データ数を算出不可能であると判定した場合には(S1302でNo)、ファイル最後の分割データが含まれるMMTPパケットを取得後、取得したMMTPパケットのパケットヘッダに格納されるフラグメントインジケータ、および、パケットシーケンス番号を用いて分割データ数を特定する(S1304)。 The receiving device acquires the control information in which the file information is described (S1301). The receiving device determines whether or not the control information includes information that can calculate the number of divided data of the file (S1302), and if it determines that the information includes information that can calculate the number of divided data, the receiving device determines. (Yes in S1302), the number of divided data is calculated based on the information included in the control information (S1303). On the other hand, when the receiving device determines that the number of divided data cannot be calculated (No in S1302), the receiving device acquires the MMTP packet containing the divided data at the end of the file and then stores it in the packet header of the acquired MMTP packet. The number of divided data is specified by using the fragment indicator and the packet sequence number (S1304).
図59は、送信装置においてフラグメントカウンタを運用するかどうかを決定するための動作フローである。 FIG. 59 is an operation flow for determining whether or not to operate the fragment counter in the transmitting device.
まず、送信装置は、伝送するメディア(以下、「メディアデータ」とも言う。)が同期メディアか、非同期メディアかを判定する(S1401)。 First, the transmission device determines whether the medium to be transmitted (hereinafter, also referred to as “media data”) is a synchronous medium or an asynchronous medium (S1401).
ステップS1401での判定の結果が同期メディアである場合(S1402で同期メディア)、送信装置は、同期メディアを伝送する環境において送受信のMMTPパケット順が一致し、かつパケットロス時にパケット再構成が不要かどうかを判定する(S1403)。送信装置は、不要であると判定した場合(S1403でYes)、フラグメントカウンタを運用しない(S1404)。一方、送信装置は、不要でないと判定した場合(S1403でNo)、フラグメントカウンタを運用する(S1405)。 When the result of the determination in step S1401 is the synchronous media (synchronous media in S1402), does the transmitting device match the transmission / reception MMTP packet order in the environment for transmitting the synchronous media and does not require packet reconstruction at the time of packet loss? It is determined whether or not (S1403). When the transmitting device determines that it is unnecessary (Yes in S1403), the transmitting device does not operate the fragment counter (S1404). On the other hand, when it is determined that the transmission device is not unnecessary (No in S1403), the transmission device operates the fragment counter (S1405).
ステップS1401での判定の結果が非同期メディアである場合(S1402で非同期メディア)、送信装置は、上述で説明した方法を用いて分割データ番号や分割データ数がシグナリングされるかどうかに基づいて、フラグメントカウンタを運用するか否かを決定する。具体的には、送信装置は、分割データ番号や分割データ数がシグナリングされる場合(S1406でYes)、フラグメントカウンタを運用しない(S1404)。一方、送信装置は、分割データ番号や分割データ数がシグナリングされない場合(S1406でNo)、フラグメントカウンタを運用する(S1405)。 When the result of the determination in step S1401 is asynchronous media (asynchronous media in S1402), the transmitting device uses the method described above to fragment based on whether the divided data number or the number of divided data is signaled. Decide whether to operate the counter. Specifically, the transmitting device does not operate the fragment counter (S1404) when the divided data number or the number of divided data is signaled (Yes in S1406). On the other hand, when the divided data number or the number of divided data is not signaled (No in S1406), the transmitting device operates a fragment counter (S1405).
なお、送信装置は、フラグメントカウンタを運用しない場合、フラグメントカウンタの値をreservedとしてもよいし、ヘッダ圧縮をしてもよい。 When the transmission device does not operate the fragment counter, the value of the fragment counter may be reserved or the header may be compressed.
なお、送信装置は、フラグメントカウンタを運用するかどうかに基づいて、上述した分割データ番号や分割データ数をシグナリングするかどうかを決定してもよい。 The transmitting device may determine whether to signal the above-mentioned divided data number or the number of divided data based on whether or not the fragment counter is operated.
なお、送信装置は、同期メディアがフラグメントカウンタを運用しない場合には、非同期メディアにおいて上述した方法を用いて分割データ番号や分割データ数をシグナリングしてもよい。逆に、非同期メディアがフラグメントカウンタを運用するかどうかに基づいて、同期メディアの運用を決定してもよい。この場合、同期メディアと非同期メディアとにおいて、フラグメントを運用するかどうかを同じ運用とすることができる。 When the synchronous media does not operate the fragment counter, the transmission device may signal the divided data number and the number of divided data by using the above-mentioned method in the asynchronous media. Conversely, the operation of synchronous media may be determined based on whether asynchronous media operates fragment counters. In this case, whether or not to operate the fragment can be the same for the synchronous media and the asynchronous media.
次に、分割データ数、分割データ番号を特定する方法(フラグメントカウンタを活用する場合)について説明する。図60は、分割データ数、分割データ番号を特定する方法(フラグメントカウンタを活用する場合)について説明するための図である。 Next, a method of specifying the number of divided data and the divided data number (when utilizing the fragment counter) will be described. FIG. 60 is a diagram for explaining a method of specifying the number of divided data and the divided data number (when the fragment counter is utilized).
図54を用いて説明したように、分割データ数が256以下であり、分割データ数があらかじめ256以下であることが既知である場合には、フラグメントカウンタを参照することにより、分割データ番号や分割データ数を特定することが可能である。 As described with reference to FIG. 54, when it is known that the number of divided data is 256 or less and the number of divided data is 256 or less in advance, the divided data number or division can be obtained by referring to the fragment counter. It is possible to specify the number of data.
ファイルの分割データ数を256以下に制限する場合、1つのパケットで伝送可能なデータサイズをx[bytes]とした場合、伝送可能なファイルの最大サイズはx*256[bytes]に制限される。例えば、放送ではx=4k[bytes]が想定されており、この場合、伝送可能なファイルの最大サイズは4k*256=1M[bytes]に制限される。 When the number of divided data in a file is limited to 256 or less, and the data size that can be transmitted in one packet is x [bytes], the maximum size of the file that can be transmitted is limited to x * 256 [bytes]. For example, in broadcasting, x = 4k [bytes] is assumed, and in this case, the maximum size of a file that can be transmitted is limited to 4k * 256 = 1M [bytes].
ファイルサイズが、伝送可能なファイルの最大サイズを超える場合、分割ファイルのサイズがx*256[bytes]以下となるように予めファイルを分割する。ファイルが分割することにより得られた複数の分割ファイルのそれぞれは、一つのファイル(item)として扱われ、さらに256以内に分割され、さらに分割されることにより得られた分割データがそれぞれMMTPパケットに格納されて伝送される。 When the file size exceeds the maximum size of the file that can be transmitted, the file is divided in advance so that the size of the divided file is x * 256 [bytes] or less. Each of the plurality of divided files obtained by dividing the file is treated as one file (item), further divided within 256, and the divided data obtained by further division is converted into an MMTP packet. Stored and transmitted.
なお、アイテムが分割ファイルであることを示す情報や、分割ファイル数、分割ファイルのシーケンス番号を制御情報に格納し、受信装置に送信してもよい。また、これらの情報をアセット管理テーブルに格納してもよいし、既存のフィールドitem_info_byteの一部を用いて示してもよい。 Information indicating that the item is a divided file, the number of divided files, and the sequence number of the divided files may be stored in the control information and transmitted to the receiving device. Further, these pieces of information may be stored in the asset management table, or may be shown using a part of the existing field item_info_byte.
受信装置は、アイテムが1つのファイルを分割することにより得られた複数の分割ファイルのうちの1つの分割ファイルである場合には、他の分割ファイルを特定し、元のファイルを再構成することができる。また、受信装置では、制御情報における分割ファイルの分割ファイル数、分割ファイルのインデックス、および、フラグメントカウンタを用いることにより、分割データ数や、分割データ番号を一意に特定することができる。また、パケットシーケンス番号などを用いることなく分割データ数や分割データ番号を一意に特定できる。 If the item is one of a plurality of split files obtained by splitting one file, the receiver identifies the other split file and reconstructs the original file. Can be done. Further, in the receiving device, the number of divided data and the divided data number can be uniquely specified by using the number of divided files of the divided file, the index of the divided files, and the fragment counter in the control information. Further, the number of divided data and the divided data number can be uniquely specified without using the packet sequence number or the like.
ここで、1つのファイルを分割することにより得られた複数の分割ファイルそれぞれのitem_idは、互いに同じであることが望ましい。なお、別のitem_idを付与する場合は、他の制御情報などからファイルを一意に参照するために、先頭の分割ファイルのitem_idを示すとしてもよい。 Here, it is desirable that the item_id of each of the plurality of divided files obtained by dividing one file is the same as each other. When another item_id is assigned, the item_id of the first divided file may be indicated in order to uniquely refer to the file from other control information or the like.
また、複数の分割ファイルは、必ず同じMPUに属するとしてもよい。MPUに複数のファイルを格納する場合には、異なる種類のファイルは格納せず、必ず1つのファイルを分割したファイルが格納されているとしてもよい。受信装置はitem毎のバージョン情報を確認せずとも、MPU毎のバージョン情報を確認することで、ファイルの更新を検知できる。 Further, the plurality of divided files may always belong to the same MPU. When a plurality of files are stored in the MPU, different types of files may not be stored, and a file obtained by dividing one file may be stored without fail. The receiving device can detect the update of the file by checking the version information for each MPU without checking the version information for each item.
図61は、フラグメントカウンタを活用する場合の送信装置の動作フローである。 FIG. 61 is an operation flow of the transmission device when the fragment counter is utilized.
まず、送信装置は、伝送するファイルのサイズを確認する(S1501)。次に送信装置は、ファイルサイズがx*256[bytes](xは、1つのパケットで伝送できるデータサイズ。例えば、MTUサイズ。)を超えるか否かを判定し(S1502)、ファイルサイズがx*256[bytes]を超える場合には(S1502でYes)、分割ファイルのサイズがx*256[bytes]未満となるようにファイルを分割する(S1503)。そして、分割ファイルをアイテムとして伝送し、分割ファイルに関する情報(例えば、分割ファイルであること、分割ファイルにおけるシーケンス番号など)を制御情報に格納して伝送する(S1504)。一方、ファイルサイズがx*256[bytes]未満である場合には(S1502でNo)、通常通りファイルをアイテムとして伝送する(S1505)。 First, the transmitting device confirms the size of the file to be transmitted (S1501). Next, the transmitting device determines whether or not the file size exceeds x * 256 [bytes] (x is the data size that can be transmitted in one packet. For example, the MTU size) (S1502), and the file size is x. If it exceeds * 256 [bytes] (Yes in S1502), the file is divided so that the size of the divided file is less than x * 256 [bytes] (S1503). Then, the divided file is transmitted as an item, and information about the divided file (for example, being a divided file, a sequence number in the divided file, etc.) is stored in the control information and transmitted (S1504). On the other hand, if the file size is less than x * 256 [bytes] (No in S1502), the file is transmitted as an item as usual (S1505).
図62は、フラグメントカウンタを活用する場合の受信装置の動作フローである。 FIG. 62 is an operation flow of the receiving device when the fragment counter is utilized.
まず、受信装置は、アセット管理テーブルなどのファイルの伝送に関する制御情報を取得、解析する(S1601)。次に、受信装置は、所望のアイテムが分割ファイルであるかどうかを判定する(S1602)。受信装置は、所望のファイルが分割ファイルであると判定した場合には(S1602でYes)、分割ファイルや分割ファイルのインデックスなど、ファイルを再構成するための情報を制御情報から取得する(S1603)。そして、受信装置は、分割ファイルを構成するアイテムを取得し、元のファイルを再構成する(S1604)。一方、受信装置は、所望のファイルが分割ファイルでないと判定した場合(S1602でNo)、通常通りファイルを取得する(S1605)。 First, the receiving device acquires and analyzes control information related to the transmission of a file such as an asset management table (S1601). Next, the receiving device determines whether the desired item is a split file (S1602). When the receiving device determines that the desired file is a divided file (Yes in S1602), the receiving device acquires information for reconstructing the file such as the divided file and the index of the divided file from the control information (S1603). .. Then, the receiving device acquires the items constituting the divided file and reconstructs the original file (S1604). On the other hand, when the receiving device determines that the desired file is not a divided file (No in S1602), the receiving device acquires the file as usual (S1605).
要するに、送信装置は、ファイル先頭の分割データのパケットシーケンス番号をシグナリングする。また、送信装置は、分割データ数を特定できる情報をシグナリングする。或いは、送信装置は、分割データ数を特定できる分割ルールを規定する。また、送信装置は、フラグメントカウンタを運用せずに、reserved或いはヘッダ圧縮する。 In short, the transmitting device signals the packet sequence number of the divided data at the beginning of the file. Further, the transmitting device signals information that can specify the number of divided data. Alternatively, the transmitting device defines a division rule that can specify the number of division data. Further, the transmitting device does not operate the fragment counter, but reserves or compresses the header.
受信装置は、ファイル先頭のデータのパケットシーケンス番号がシグナリングされている場合には、ファイル先頭の分割データのパケットシーケンス番号と、MMTPパケットのパケットシーケンス番号から、分割データ番号や分割データ数を特定する。 When the packet sequence number of the data at the beginning of the file is signaled, the receiving device identifies the divided data number and the number of divided data from the packet sequence number of the divided data at the beginning of the file and the packet sequence number of the MMTP packet. ..
別の観点では、送信装置は、ファイルを分割し、分割ファイル毎にデータを分割して送信する。分割ファイルを紐づける情報(シーケンス番号、分割数など)をシグナリングする。 From another point of view, the transmitting device divides the file and divides the data into each divided file and transmits the data. Signal the information (sequence number, number of divisions, etc.) that associates the divided files.
受信装置は、フラグメントカウンタ、及び分割ファイルのシーケンス番号により、分割データ番号や分割データ数を特定する。 The receiving device specifies the divided data number and the number of divided data by the fragment counter and the sequence number of the divided file.
これにより、分割データ番号や分割データを一意に特定できる。また、途中の分割データを受信した時点で当該分割データの分割データ番号を特定できるため、待機時間を削減し、メモリも削減できる。 As a result, the divided data number and the divided data can be uniquely specified. Further, since the divided data number of the divided data can be specified at the time when the divided data in the middle is received, the waiting time can be reduced and the memory can be reduced.
また、フラグメントカウンタを運用しないことにより、送受信装置の構成は処理量を削減することができる、また、伝送効率を向上させることができる。 Further, by not operating the fragment counter, the configuration of the transmission / reception device can reduce the processing amount and improve the transmission efficiency.
図63は、同一番組を複数のIPデータフローで送信する場合のサービス構成を示す図である。ここでは、サービスID=2の番組の一部(映像・音声)のデータがMMT方式を用いたIPデータフローで送信され、同じサービスIDであり、当該一部のデータとは異なるデータが高度BSデータ伝送方式を用いたIPデータフロー(この例ではファイル伝送プロトコルも異なるが同じプロトコルであってもよい。)で送信される例を示している。 FIG. 63 is a diagram showing a service configuration when the same program is transmitted by a plurality of IP data flows. Here, the data of a part (video / audio) of the program with the service ID = 2 is transmitted by the IP data flow using the MMT method, and the data having the same service ID but different from the part of the data is the advanced BS. An example of transmission by an IP data flow using a data transmission method (in this example, the file transmission protocol is different but the same protocol may be used) is shown.
送信装置は、受信装置において、複数のIPデータフローから構成されるデータが、復号時刻までに揃うことを保証できるように、IPデータの多重化を行う。 The transmitting device multiplexes the IP data in the receiving device so that the data composed of a plurality of IP data flows can be guaranteed to be aligned by the decoding time.
受信装置は、複数のIPデータフローから構成されるデータを用いて、復号時刻に基づいて処理することにより、保証された受信機動作を実現することができる。 The receiving device can realize the guaranteed receiver operation by processing the data composed of a plurality of IP data flows based on the decoding time.
[補足:送信装置及び受信装置]
以上のように、フラグメントカウンタを運用せずにデータの送信を行う送信装置は、図64のように構成することも可能である。また、フラグメントカウンタを運用せずにデータの受信を行う受信装置は、図65のように構成することも可能である。図64は、送信装置の具体的構成の例を示す図である。図65は、受信装置の具体的構成の例を示す図である。
[Supplement: Transmitter and receiver]
As described above, the transmission device that transmits data without operating the fragment counter can also be configured as shown in FIG. 64. Further, the receiving device that receives data without operating the fragment counter can also be configured as shown in FIG. 65. FIG. 64 is a diagram showing an example of a specific configuration of the transmission device. FIG. 65 is a diagram showing an example of a specific configuration of the receiving device.
送信装置500は、分割部501と、構成部502と、送信部503とを備える。分割部501、構成部502、及び送信部503のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The
受信装置600は、受信部601と、判定部602と、構成部603とを備える。受信部601、判定部602、及び構成部603のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The receiving
送信装置500及び受信装置600の各構成要素についての詳細な説明は、それぞれ、送信方法及び受信方法の説明において行う。
A detailed description of each component of the transmitting
まず、送信方法について、図66を用いて説明する。図66は、送信装置による動作フロー(送信方法)である。 First, the transmission method will be described with reference to FIG. FIG. 66 is an operation flow (transmission method) by the transmission device.
まず、送信装置500の分割部501は、データを複数の分割データに分割する(S1701)。
First, the
次に、送信装置500の構成部502は、複数の分割データのそれぞれにヘッダ情報を付与してパケット化することで、複数のパケットを構成する(S1702)。
Next, the
そして、送信装置500の送信部503は、構成された前記複数のパケットを送信する(S1703)。送信部503は、分割データ情報、および、無効化されたフラグメントカウンタの値を、送信する。なお、分割データ情報は、分割データ番号と、分割データ数とを特定するための情報である。また、分割データ番号は、当該分割データが複数の分割データのうちの何番目の分割データであるかを示す番号である。分割データ数は、複数の分割データの数である。
Then, the
これにより、送信装置500の処理量を削減することができる。
As a result, the processing amount of the
次に、受信方法について、図67を用いて説明する。図67は、受信装置による動作フロー(受信方法)である。 Next, the receiving method will be described with reference to FIG. 67. FIG. 67 is an operation flow (reception method) by the receiving device.
まず、受信装置600の受信部601は、複数のパケットを受信する(S1801)。
First, the receiving
次に、受信装置600の判定部602は、受信した複数のパケットから、分割データ情報が、当取得されたか否かを判定する(S1802)。
Next, the
そして、受信装置600の構成部603は、判定部602により、分割データ情報を取得したと判定された場合(S1802でYes)、当該ヘッダ情報に含まれるフラグメントカウンタの値を使用せずに、受信した複数のパケットからデータを構成する(S1803)。
Then, when the
一方で、構成部603は、判定部602により、分割データ情報を取得していないと判定された場合(S1802でNo)、当該ヘッダ情報に含まれるフラグメントカウンタの値を用いて、受信した複数のパケットからデータを構成してもよい(S1804)。
On the other hand, when the
これにより、受信装置600の処理量を削減することができる。
As a result, the processing amount of the receiving
(実施の形態5)
[概要]
実施の形態5では、NALサイズフォーマットでNALユニットを多重化レイヤに格納した場合の伝送パケット(TLVパケット)の送信方法について説明する。
(Embodiment 5)
[overview]
In the fifth embodiment, a transmission packet (TLV packet) transmission method when the NAL unit is stored in the multiplexing layer in the NAL size format will be described.
実施の形態1で説明したように、H.264やH.265のNALユニットを多重化レイヤに格納する際には、次の2種類の形式がある。1つは、NALユニットヘッダの直前に特定のビット列からなるスタートコードを付加するバイトストリームフォーマットと呼ばれる形式である。もう1つは、NALユニットのサイズを示すフィールドを付加するNALサイズフォーマットと呼ばれる形式である。バイトストリームフォーマットは、MPEG-2システムやRTPなどにおいて用いられ、NALサイズフォーマットはMP4、あるいは、MP4を使用するDASHやMMTなどにおいて用いられる。 As described in the first embodiment, H.I. 264 and H. When storing the 265 NAL unit in the multiplexing layer, there are the following two types of formats. One is a format called a byte stream format in which a start code consisting of a specific bit string is added immediately before the NAL unit header. The other is a format called NAL size format that adds a field indicating the size of the NAL unit. The byte stream format is used in an MPEG-2 system, RTP, etc., and the NAL size format is used in MP4, DASH, MMT, etc. using MP4.
バイトストリームフォーマットにおいて、スタートコードは3バイトで構成され、さらに任意のバイト(値は0であるバイト)を付加することもできる。 In the byte stream format, the start code is composed of 3 bytes, and any byte (byte whose value is 0) can be added.
一方で、一般的なMP4におけるNALサイズフォーマットでは、サイズ情報は、1バイト、2バイト、および4バイトのいずれかで示される。このサイズ情報は、HEVCサンプルエントリにおけるlengthSizeMinusOneフィールドで示される。当該フィールドの値が「0」の場合は1バイト、「1」の場合は2バイト、「3」の場合は4バイトであることを示す。 On the other hand, in the general MP4 NAL size format, the size information is indicated by either 1 byte, 2 bytes, and 4 bytes. This size information is indicated by the lengthSizeMinusOne field in the HEVC sample entry. When the value of the field is "0", it is 1 byte, when it is "1", it is 2 bytes, and when it is "3", it is 4 bytes.
ここで、2014年7月に規格化された、ARIB STD-B60「デジタル放送におけるMMTによるメディアトランスポート方式」では、NALユニットを多重化レイヤに格納する際、HEVCエンコーダの出力がバイトストリームである場合、バイトスタートコードを除去し、32ビット(符号なし整数)で示したバイト単位のNALユニットのサイズを長さ情報としてNALユニットの直前に付加する。なお、HEVCサンプルエントリを含むMPUメタデータを伝送せず、サイズ情報は32ビット(4バイト)固定である。 Here, in ARIB STD-B60 "Media transport method by MMT in digital broadcasting" standardized in July 2014, when the NAL unit is stored in the multiplexing layer, the output of the HEVC encoder is a byte stream. In this case, the byte start code is removed, and the size of the NAL unit in byte units indicated by 32 bits (unsigned integer) is added immediately before the NAL unit as length information. The MPU metadata including the HEVC sample entry is not transmitted, and the size information is fixed to 32 bits (4 bytes).
また、ARIB STD-B60「デジタル放送におけるMMTによるメディアトランスポート方式」では、送信装置が受信装置におけるバッファ動作を保証するために送信の際に考慮する受信バッファモデルにおいては、映像信号の復号前バッファは、CPBであると規定されている。 Further, in ARIB STD-B60 "Media transport method by MMT in digital broadcasting", in the receive buffer model considered at the time of transmission in order to guarantee the buffer operation in the receiving device, the buffer before decoding the video signal. Is defined as CPB.
しかし、次のような課題がある。MPEG-2システムにおけるCPBや、HEVCにおけるHRDでは、映像信号がバイトストリームフォーマットであることを前提に規定されている。このため、例えば、3バイトのスタートコードが付いたバイトストリームフォーマットであることを前提に伝送パケットのレート制御を行った場合、4バイトのサイズ領域が付加されたNALサイズフォーマットの伝送パケットを受信した受信装置は、ARIB STD-B60における受信バッファモデルを満たすことができない可能性がある。また、ARIB STD-B60における受信バッファモデルには、具体的なバッファサイズ、および、引き抜きレートが示されていないため、受信装置におけるバッファ動作を保証することは難しい。 However, there are the following problems. CPB in the MPEG-2 system and HRD in HEVC are defined on the premise that the video signal is in the byte stream format. Therefore, for example, when the rate of the transmission packet is controlled on the premise that the transmission packet is in the byte stream format with the start code of 3 bytes, the transmission packet in the NAL size format to which the size area of 4 bytes is added is received. The receiving device may not be able to meet the receive buffer model in ARIB STD-B60. Further, since the receive buffer model in ARIB STD-B60 does not show a specific buffer size and extraction rate, it is difficult to guarantee the buffer operation in the receiving device.
したがって、上記の課題を解決するために、受信機におけるバッファ動作を保証するための受信バッファモデルを下記のように規定する。 Therefore, in order to solve the above problems, the receive buffer model for guaranteeing the buffer operation in the receiver is defined as follows.
図68は、ARIB STD B-60に規定されている受信バッファモデルに基づいて、特に放送伝送路のみを用いた場合の受信バッファモデルを示す。 FIG. 68 shows a receive buffer model based on the receive buffer model defined in ARIB STD B-60, particularly when only a broadcast transmission line is used.
受信バッファモデルは、TLVパケットバッファ(第1のバッファ)と、IPパケットバッファ(第2のバッファ)と、MMTPバッファ(第3のバッファ)と、復号前バッファ(第4のバッファ)とを備える。なお、放送伝送路では、デジッタバッファやFECのためのバッファは必要ないため、省略している。 The receive buffer model includes a TLV packet buffer (first buffer), an IP packet buffer (second buffer), an MMTP buffer (third buffer), and a pre-decoding buffer (fourth buffer). Note that the broadcast transmission line does not require a de-jitter buffer or a buffer for FEC, so it is omitted.
TLVパケットバッファは、TLVパケット(伝送パケット)を放送伝送路から受信し、受信したTLVパケットに格納されている可変長のパケットヘッダ(IPパケットヘッダ、IPパケット圧縮時のフルヘッダ、IPパケット圧縮時の圧縮ヘッダ)、および可変長のペイロードで構成されるIPパケットを、ヘッダ伸張された固定長のIPパケットヘッダを有するIPパケット(第1のパケット)に変換し、変換することにより得られたIPパケットを一定のビットレートで出力する。 The TLV packet buffer receives a TLV packet (transmission packet) from a broadcast transmission path, and has a variable length packet header (IP packet header, a full header during IP packet compression, and an IP packet compression) stored in the received TLV packet. An IP packet composed of a compressed header) and a variable-length payload is converted into an IP packet (first packet) having a fixed-length IP packet header decompressed by the header, and the IP packet obtained by the conversion. Is output at a constant bit rate.
IPパケットバッファは、IPパケットをパケットヘッダおよび可変長のペイロードを有するMMTPパケット(第2のパケット)に変換し、変換することにより得られたMMTPパケットを一定のビットレートで出力する。なお、IPパケットバッファは、MMTPバッファにマージされていても良い。 The IP packet buffer converts an IP packet into an MMTP packet (second packet) having a packet header and a variable length payload, and outputs the MMTP packet obtained by the conversion at a constant bit rate. The IP packet buffer may be merged with the MMTP buffer.
MMTPバッファは、出力されたMMTPパケットをNALユニットに変換し、変換することにより得られたNALユニットを一定のビットレートで出力する。 The MMTP buffer converts the output MMTP packet into a NAL unit, and outputs the NAL unit obtained by the conversion at a constant bit rate.
復号前バッファは、出力されたNALユニットを順次蓄積し、蓄積した複数のNALユニットからアクセスユニットを生成し、生成したアクセスユニットを当該アクセスユニットに対応した復号時刻のタイミングでデコーダに出力する。 The pre-decoding buffer sequentially accumulates the output NAL units, generates an access unit from the accumulated plurality of NAL units, and outputs the generated access unit to the decoder at the timing of the decoding time corresponding to the access unit.
図68に示す受信バッファモデルでは、前段のTLVパケットバッファおよびIPパケットバッファ以外のバッファであるMMTPバッファおよび復号前バッファは、MPEG-2 TSにおける受信バッファモデルを踏襲することが特徴的である。 In the receive buffer model shown in FIG. 68, the MMTP buffer and the pre-decoding buffer, which are buffers other than the TLV packet buffer and the IP packet buffer in the previous stage, are characteristic of following the receive buffer model in the MPEG-2 TS.
例えば、映像におけるMMTPバッファ(MMTP B1)は、MPEG-2 TSにおけるトランスポートバッファ(TB)、及び、多重化バッファ(MB)に相当するバッファで構成される。また、音声におけるMMTPバッファ(MMTP Bn)は、MPEG-2 TSにおけるトランスポートバッファ(TB)に相当するバッファで構成される。 For example, the MMTP buffer (MMTP B1) in the video is composed of a transport buffer (TB) in the MPEG-2 TS and a buffer corresponding to the multiplexing buffer (MB). Further, the MMTP buffer (MMTP Bn) in voice is composed of a buffer corresponding to the transport buffer (TB) in MPEG-2 TS.
トランスポートバッファのバッファサイズは、MPEG-2 TS同様であり固定値とする。例えば、MTUサイズのn倍(nは、小数であっても整数であってもよく、1以上とする。)とする。 The buffer size of the transport buffer is the same as that of MPEG-2 TS and is a fixed value. For example, it is n times the MTU size (n may be a decimal number or an integer, and is 1 or more).
また、MMTPパケットヘッダのオーバーヘッド率がPESパケットヘッダのオーバーヘッド率よりも小さくなるように、MMTPパケットサイズを規定する。これにより、トランスポートバッファからの引き抜きレートは、MPEG-2 TSにおけるトランスポートバッファの引き抜きレートRX1、RXn、RXsをそのまま適用することができる。 Further, the MMTP packet size is specified so that the overhead rate of the MMTP packet header is smaller than the overhead rate of the PES packet header. Thereby, as the extraction rate from the transport buffer, the extraction rates RX1, RXn, and RXs of the transport buffer in the MPEG-2 TS can be applied as they are.
また、多重化バッファのサイズ、および、引き抜きレートは、それぞれ、MPEG-2
TSにおけるMBサイズ、および、RBX1とする。
The size of the multiplexing buffer and the extraction rate are MPEG-2, respectively.
MB size in TS and RBX1.
以上の受信バッファモデルに加え、課題を解決するために、下記の制約を設ける。 In addition to the above receive buffer model, the following restrictions are set in order to solve the problem.
HEVCのHRD規定は、バイトストリーム形式が前提であり、MMTはNALユニットの先頭に4バイトのサイズ領域を付加するNALサイズ形式である。したがって、符号化時にはNALサイズ形式において、HRDを満たすようにレート制御を行う。 The HRD regulation of HEVC is premised on a byte stream format, and MMT is a NAL size format in which a 4-byte size area is added to the beginning of a NAL unit. Therefore, at the time of coding, rate control is performed so as to satisfy HRD in the NAL size format.
つまり、送信装置では、上記の受信バッファモデルおよび制約に基づいて、伝送パケットのレート制御を行う。 That is, the transmitting device controls the rate of the transmission packet based on the above-mentioned reception buffer model and constraints.
受信装置では、上記の信号を用いて受信処理をすることにより、アンダーフローやオーバーフローすることなる復号動作をすることができる。 In the receiving device, by performing reception processing using the above signal, it is possible to perform a decoding operation that causes underflow or overflow.
なお、TLVパケットバッファの引き抜きレート(TLVパケットバッファがIPパケットを出力する際のビットレート)は、IPヘッダ伸張後の伝送レートを考慮して設定する。 The extraction rate of the TLV packet buffer (bit rate when the TLV packet buffer outputs an IP packet) is set in consideration of the transmission rate after expanding the IP header.
つまり、データサイズが可変長であるTLVパケットを入力し、TLVヘッダの除去およびIPヘッダの伸張(復元)を実施した後、出力されるIPパケットの伝送レートを考慮する。言い換えれば、入力される伝送レートに対してヘッダの増減量を考慮する。 That is, after inputting a TLV packet having a variable data size, removing the TLV header and decompressing (restoring) the IP header, the transmission rate of the output IP packet is taken into consideration. In other words, the amount of increase / decrease in the header is taken into consideration with respect to the input transmission rate.
具体的には、データサイズが可変長であること、IPヘッダ圧縮されるパケットとIPヘッダ圧縮されていないパケットとが混在すること、IPv4,IPv6などのパケット種別によりIPヘッダのサイズが異なることから、出力されるIPパケットの伝送レートは一意ではない。このため、可変長のデータサイズの平均パケット長を定め、TLVパケットから出力されるIPパケットの伝送レートを定める。 Specifically, because the data size is variable length, packets with IP header compression and packets without IP header compression coexist, and the size of the IP header differs depending on the packet type such as IPv4 and IPv6. , The transmission rate of the output IP packet is not unique. Therefore, the average packet length of the variable length data size is determined, and the transmission rate of the IP packet output from the TLV packet is determined.
ここでは、IPヘッダ伸張後の最大伝送速度を規定するために、IPヘッダは常に圧縮されている場合を想定して伝送レートを定める。 Here, in order to specify the maximum transmission speed after decompressing the IP header, the transmission rate is determined on the assumption that the IP header is always compressed.
また、IPv4、IPv6のパケット種別が混在する場合、或いは、パケット種別を区別することなく規定する場合は、ヘッダサイズが大きく、ヘッダ伸張後の増加率の大きいIPv6パケットを想定して伝送レートを定める。 Further, when the packet types of IPv4 and IPv6 are mixed, or when the packet types are specified without distinction, the transmission rate is determined assuming an IPv6 packet having a large header size and a large increase rate after header expansion. ..
例えば、TLVパケットバッファに入力されるTLVパケットの平均パケット長がSであり、TLVパケットに格納されるIPパケットはすべてIPv6パケットであり、ヘッダ圧縮されているとした場合の、TLVヘッダの除去及びIPヘッダの伸張後の最大出力伝送レートは、
入力レート×{S/(S+IPv6ヘッダ圧縮量)}
となる。
For example, when the average packet length of the TLV packet input to the TLV packet buffer is S, all the IP packets stored in the TLV packet are IPv6 packets, and the header is compressed, the removal of the TLV header and the removal of the TLV header. The maximum output transmission rate after decompression of the IP header is
Input rate x {S / (S + IPv6 header compression amount)}
Will be.
より具体的には、TLVパケットの平均パケット長Sを、
S=0.75×1500(1500は最大MTUサイズを想定)
を基準として設定し、
IPv6ヘッダ圧縮量=TLVヘッダ長-IPv6ヘッダ長-UDPヘッダ長
=3-40-8
とした場合、TLVヘッダの除去及びIPヘッダの伸張後の最大出力伝送レートは、
入力レート×1.0417≒入力レート×1.05
となる。
More specifically, the average packet length S of the TLV packet is
S = 0.75 x 1500 (1500 assumes maximum MTU size)
Set as a reference,
IPv6 header compression amount = TLV header length-IPv6 header length-UDP header length
= 3-40-8
If, the maximum output transmission rate after removing the TLV header and expanding the IP header is
Input rate x 1.0417 ≒ Input rate x 1.05
Will be.
図69は、複数のデータユニットをアグリゲーションして一つのペイロードに格納する例を示す図である。 FIG. 69 is a diagram showing an example in which a plurality of data units are aggregated and stored in one payload.
MMT方式では、データユニットをアグリゲーションする際、図69に示すように、データユニットの前に、データユニット長、及び、データユニットヘッダが付加される。 In the MMT method, when the data unit is aggregated, the data unit length and the data unit header are added before the data unit, as shown in FIG. 69.
しかし、例えば、NALサイズフォーマットの映像信号を一つのデータユニットとして格納する場合、図70に示すように、一つのデータユニットに対して、サイズを示すフィールドが2つあり、情報として重複している。図70は、複数のデータユニットをアグリゲーションして一つのペイロードに格納する例であって、NALサイズフォーマットの映像信号を一つのデータユニットとした場合の例を示す図である。具体的には、NALサイズフォーマットにおける先頭のサイズ領域(以降の説明では、「size領域」と呼ぶ。)と、MMTPペイロードヘッダにおけるデータユニットヘッダの前に位置するデータユニット長フィールドとのいずれもサイズを示すフィールドであり、情報として重複している。例えば、NALユニットの長さがLバイトである場合、size領域にはLバイトが示されており、データユニット長フィールドには、Lバイト+「size領域の長さ」(byte)が示される。size領域と、データユニット長フィールドとで示される値は完全に一致はしていないが、一方の値から他方の値を容易に算出できるため、重複していると言える。 However, for example, when a video signal in the NAL size format is stored as one data unit, as shown in FIG. 70, one data unit has two fields indicating the size, which are duplicated as information. .. FIG. 70 is an example in which a plurality of data units are aggregated and stored in one payload, and is a diagram showing an example in which a video signal in NAL size format is used as one data unit. Specifically, both the size of the first size area in the NAL size format (referred to as "size area" in the following description) and the data unit length field located before the data unit header in the MMTP payload header are both sizes. It is a field indicating, and is duplicated as information. For example, when the length of the NAL unit is L bytes, the size area shows L bytes, and the data unit length field shows L bytes + “size area length” (byte). Although the values indicated by the size area and the data unit length field do not completely match, it can be said that they overlap because the other value can be easily calculated from one value.
このように、データのサイズ情報を内部に含むデータをデータユニットとして格納し、かつ、複数の当該データユニットをアグリゲーションして一つのペイロードに格納する場合、サイズ情報が重複するため、オーバーヘッドが大きく、伝送効率が悪いと言う課題がある。 In this way, when the data including the size information of the data is stored as a data unit and a plurality of the data units are aggregated and stored in one payload, the size information is duplicated, so that the overhead is large. There is a problem that the transmission efficiency is poor.
そこで、送出装置では、データのサイズ情報を内部に含むデータをデータユニットとして格納し、かつ、複数の当該データユニットをアグリゲーションして一つのペイロードに格納する場合、図71や図72に示すように格納することが考えられる。 Therefore, in the transmission device, when the data including the size information of the data is stored as a data unit and the plurality of the data units are aggregated and stored in one payload, as shown in FIGS. 71 and 72. It is conceivable to store it.
図71に示すように、size領域を含むNALユニットをデータユニットとして格納し、MMTPペイロードヘッダに従来含まれるデータユニット長は示さないことが考えられる。図71は、データユニット長が示されないMMTPパケットのペイロードの構成を示す図である。 As shown in FIG. 71, it is conceivable that the NAL unit including the size area is stored as a data unit, and the data unit length conventionally included in the MMTP payload header is not shown. FIG. 71 is a diagram showing the configuration of the payload of the MMTP packet in which the data unit length is not shown.
また、図72に示すように、データユニット長が示されているかどうかを示すフラグや、size領域の長さを示す情報を新たにヘッダに格納してもよい。フラグやsize領域の長さを示す情報を格納する場所は、データユニットヘッダなど、データユニット単位で示してもよいし、複数のデータユニットをアグリゲーションした単位で(パケット単位)で示してもよい。図72は、パケット単位に付与されるextend領域に示す例である。なお、上記の新規に示す情報の格納場所はこれに限るものではなく、MMTPペイロードヘッダやMMTPパケットヘッダ、制御情報であってもよい。 Further, as shown in FIG. 72, a flag indicating whether or not the data unit length is indicated and information indicating the length of the size area may be newly stored in the header. The place where the information indicating the length of the flag or the size area is stored may be indicated in units of data units such as a data unit header, or may be indicated in units of aggregation of a plurality of data units (packet unit). FIG. 72 is an example shown in the extend area assigned to each packet. The storage location of the newly shown information is not limited to this, and may be an MMTP payload header, an MMTP packet header, or control information.
受信側では、データユニット長が圧縮されているかどうかを示すフラグが、データユニット長が圧縮されていることを示している場合は、データユニット内部のsize領域の長さ情報を取得し、size領域の長さ情報に基づいて、size領域を取得することにより、取得したsize領域の長さ情報およびsize領域を用いてデータユニット長を算出できる。 On the receiving side, if the flag indicating whether the data unit length is compressed indicates that the data unit length is compressed, the length information of the size area inside the data unit is acquired and the size area is acquired. By acquiring the size area based on the length information of, the data unit length can be calculated using the acquired length information of the size area and the size area.
以上の方法により、送出側でデータ量を削減することができ、伝送効率を向上できる。 By the above method, the amount of data can be reduced on the transmitting side and the transmission efficiency can be improved.
なお、データユニット長を削減するのではなく、size領域を削減することによりオーバーヘッド削減してもよい。size領域を削減する場合には、size領域が削減されているかどうかを示す情報や、データユニット長フィールドの長さを示す情報を格納してもよい。 It should be noted that the overhead may be reduced by reducing the size area instead of reducing the data unit length. When the size area is reduced, information indicating whether or not the size area is reduced or information indicating the length of the data unit length field may be stored.
なお、MMTPペイロードヘッダにも、長さ情報が含まれる。 The length information is also included in the MMTP payload header.
size領域を含むNALユニットをデータユニットとして格納する場合は、アグリゲーションする/しないにかかわらず、MMTPペイロードヘッダにおけるペイロードサイズ領域を削減してもよい。 When the NAL unit including the size area is stored as a data unit, the payload size area in the MMTP payload header may be reduced regardless of whether it is aggregated or not.
また、size領域を含まないデータをデータユニットとして格納する場合でも、アグリゲーションされており、データユニット長が示されている場合には、MMTPペイロードヘッダにおけるペイロードサイズ領域を削減してもよい。 Further, even when the data not including the size area is stored as a data unit, the payload size area in the MMTP payload header may be reduced if it is aggregated and the data unit length is indicated.
ペイロードサイズ領域を削減する場合には、上記と同様に、削減したかどうかを示すフラグや、削減したサイズフィールドの長さ情報を示してもよい。 When the payload size area is reduced, a flag indicating whether or not the payload size area has been reduced and the length information of the reduced size field may be indicated in the same manner as described above.
図73は、受信装置の動作フローを示す。 FIG. 73 shows the operation flow of the receiving device.
送出装置では、上述したように、size領域を含むNALユニットをデータユニットとして格納し、MMTPペイロードヘッダに含まれるデータユニット長はMMTPパケットにおいて示さないとする。 As described above, the transmitting device stores the NAL unit including the size area as a data unit, and the data unit length included in the MMTP payload header is not shown in the MMTP packet.
以下では、データユニット長が示されているかどうかをフラグや、size領域の長さ情報がMMTPパケットにおいて示されている場合を例に説明する。 In the following, a flag indicating whether or not the data unit length is indicated and a case where the length information of the size area is indicated in the MMTP packet will be described as an example.
受信装置は、データユニットがサイズ領域を含み、データユニット長が削減されているかどうかを、送出側から送信される情報に基づいて判定する(S1901)。 The receiving device determines whether or not the data unit includes a size area and the data unit length is reduced based on the information transmitted from the transmitting side (S1901).
データユニット長が削減されていると判定した場合(S1902でYes)、データユニット内部のサイズ領域の長さ情報を取得し、その後、データユニット内部のサイズ領域を解析し、データユニット長を算出することにより取得する(S1903)。 When it is determined that the data unit length has been reduced (Yes in S1902), the length information of the size area inside the data unit is acquired, and then the size area inside the data unit is analyzed to calculate the data unit length. Acquired by (S1903).
一方、データユニット長が削減されていないと判定した場合(S1902でNo)、通常どおり、データユニット長、および、データユニット内部のサイズ領域のいずれか一方からデータユニット長を算出する(S1904)。 On the other hand, when it is determined that the data unit length has not been reduced (No in S1902), the data unit length is calculated from either the data unit length or the size area inside the data unit as usual (S1904).
[補足:送信装置及び受信装置]
以上のように、符号化時に受信バッファモデルの規定を満たすようにレート制御を行う送信装置は、図74のように構成することも可能である。また、送信装置から送信された伝送パケットを受信し、復号する受信装置は、図75のように構成することも可能である。図74は、送信装置の具体的構成の例を示す図である。図75は、受信装置の具体的構成の例を示す図である。
[Supplement: Transmitter and receiver]
As described above, the transmission device that performs rate control so as to satisfy the definition of the receive buffer model at the time of encoding can also be configured as shown in FIG. 74. Further, the receiving device that receives and decodes the transmission packet transmitted from the transmitting device can also be configured as shown in FIG. 75. FIG. 74 is a diagram showing an example of a specific configuration of the transmission device. FIG. 75 is a diagram showing an example of a specific configuration of the receiving device.
送信装置700は、生成部701と、送信部702とを備える。生成部701及び送信部702のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The
受信装置800は、受信部801と、第1のバッファ802と、第2のバッファ803と、第3のバッファ804と、第4のバッファ805と、復号部806とを備える。受信部801、第1のバッファ802、第2のバッファ803、第3のバッファ804、第4のバッファ805及び復号部(デコーダ)806のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。
The receiving
送信装置700及び受信装置800の各構成要素についての詳細な説明は、それぞれ、送信方法及び受信方法の説明において行う。
A detailed description of each component of the transmitting
まず、送信方法について、図76を用いて説明する。図76は、送信装置による動作フロー(送信方法)である。 First, the transmission method will be described with reference to FIG. 76. FIG. 76 is an operation flow (transmission method) by the transmission device.
まず、送信装置700の生成部701は、受信装置のバッファ動作を保証するために予め定められた受信バッファモデルによる規定を満たすようにレート制御を行うことで符号化ストリームを生成する(S2001)。
First, the
次に、送信装置700の送信部702は、生成された符号化ストリームをパケット化し、パケット化することで得られた伝送パケットを送信する(S2002)。
Next, the
なお、送信装置700において用いられる受信バッファモデルは、受信装置800の構成の第1~第4のバッファ802~805を備える構成であるため、説明を省略する。
Since the reception buffer model used in the
これにより、送信装置700は、MMTのような方式を用いてデータ伝送する場合に、受信装置800のバッファ動作を保証できる。
Thereby, the transmitting
次に、受信方法について、図77を用いて説明する。図77は、受信装置による動作フロー(受信方法)である。 Next, the receiving method will be described with reference to FIG. 77. FIG. 77 is an operation flow (reception method) by the receiving device.
まず、受信装置800の受信部801は、可変長のパケットヘッダおよび可変長のペイロードで構成された伝送パケットを受信する(S2101)。
First, the receiving
次に、受信装置800の第1のバッファ802は、受信した伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成されるパケットを、ヘッダ伸張された固定長のパケットヘッダを有する第1のパケットに変換し、変換することにより得られた前記第1のパケットを一定のビットレートで出力する(S2102)。
Next, the
次に、受信装置800の第2のバッファ803は、変換することにより得られた第1のパケットをパケットヘッダおよび可変長のペイロードで構成される第2のパケットに変換し、変換することにより得られた第2のパケットを一定のビットレートで出力する(S2103)。
Next, the
次に、受信装置800の第3のバッファ804は、出力された第2のパケットをNALユニットに変換し、変換することにより得られたNALユニットを一定のビットレートで出力する(S2104)。
Next, the
次に、受信装置800の第4のバッファ805は、出力されたNALユニットを順次蓄積し、蓄積した複数のNALユニットからアクセスユニットを生成し、生成したアクセスユニットを当該アクセスユニットに対応した復号時刻のタイミングでデコーダに出力する(S2105)。
Next, the
そして、受信装置800の復号部806は、第4のバッファにより出力されたアクセスユニットを復号する(S2106)。
Then, the
これにより、受信装置800は、アンダーフローやオーバーフローすることなる復号動作を行うことができる。
As a result, the receiving
(実施の形態6)
[概要]
実施の形態6では、実施の形態5で説明した受信バッファモデルを用いた具体的な送信方法及び受信方法について説明する。
(Embodiment 6)
[overview]
In the sixth embodiment, a specific transmission method and a reception method using the reception buffer model described in the fifth embodiment will be described.
図78は、ARIB STD-B60に規定されるMMT/TLV方式のプロトコルスタックを示す図である。 FIG. 78 is a diagram showing an MMT / TLV protocol stack defined in ARIB STD-B60.
MMT方式では、パケットには、映像や音声などのデータを複数のMPU(Media
Presentation Unit)やMFU(Media Fragment Unit)などの所定のデータユニットごとに格納し、MMTPパケットヘッダを付与することで所定のパケットとしてのMMTPパケットを生成する(MMTPパケット化する)。また、MMTPにおける制御メッセージなどの制御情報に対しても、MMTPパケットヘッダを付与することで、所定のパケットとしてのMMTPパケットを生成する。MMTPパケットヘッダには、32ビットのショートフォーマットのNTP(Network Time Protocol:IETF RFC 5905に規定)を格納するフィールドが設けられており、通信回線のQoS制御等に用いることができる。
In the MMT method, data such as video and audio are input to multiple MPUs (Media) in packets.
It is stored in each predetermined data unit such as Presentation Unit) or MFU (Media Fragment Unit), and an MMTP packet header is added to generate an MMTP packet as a predetermined packet (convert it into an MMTP packet). Further, by adding an MMTP packet header to control information such as a control message in MMTP, an MMTP packet as a predetermined packet is generated. The MMTP packet header is provided with a field for storing a 32-bit short format NTP (Network Time Protocol: specified in IETF RFC 5905), and can be used for QoS control of a communication line or the like.
また、送信側(送信装置)の基準クロックをRFC 5905に規定される64ビットのロングフォーマットNTPに同期させ、同期させた当該基準クロックを基に、PTS(Presentation Time Stamp)や、DTS(Decode Time Stamp)などのタイムスタンプを同期メディアに付与する。さらに、送信側の基準クロック情報を受信側に送信し、受信装置では送信側から受信した基準クロック情報を基に受信装置におけるシステムクロックを生成する。 Further, the reference clock of the transmitting side (transmitting device) is synchronized with the 64-bit long format NTP specified in RFC 5905, and based on the synchronized reference clock, PTS (Presentation Time Stamp) and DTS (Decode Time) are used. A time stamp such as Stamp) is added to the synchronized media. Further, the reference clock information on the transmitting side is transmitted to the receiving side, and the receiving device generates a system clock in the receiving device based on the reference clock information received from the transmitting side.
PTSやDTSは、具体的には、MMTPの制御情報であるMPUタイムスタンプ記述子や、MPU拡張タイムスタンプ記述子に格納されて、アセット毎にMPテーブルに格納され、制御メッセージとしてMMTPパケット化された後、伝送される。 Specifically, PTS and DTS are stored in the MPU time stamp descriptor which is the control information of MMTP and the MPU extended time stamp descriptor, are stored in the MP table for each asset, and are converted into MMTP packets as control messages. After that, it is transmitted.
MMTPパケット化されたデータは、UDPヘッダやIPヘッダが付与されIPパケットにカプセル化される。このとき、IPヘッダやUDPヘッダにおいて、送信元IPアドレス、宛先IPアドレス、送信元ポート番号、宛先ポート番号、プロトコル種別が同じもののパケットの集合をIPデータフローとする。なお、同じIPデータフローのIPパケットは、ヘッダが冗長であるため、一部のIPパケットではヘッダ圧縮される。 The MMTP packetized data is added with a UDP header and an IP header and encapsulated in an IP packet. At this time, in the IP header and UDP header, a set of packets having the same source IP address, destination IP address, source port number, destination port number, and protocol type is defined as an IP data flow. Since the header of the IP packet of the same IP data flow is redundant, the header is compressed in some IP packets.
また、基準クロック情報として、64ビットのNTPタイムスタンプは、NTPパケットに格納され、IPパケットに格納される。このとき、NTPパケットを格納するIPパケットでは、送信元IPアドレス、宛先IPアドレス、送信元ポート番号、宛先ポート番号、及びプロトコル種別は固定値であり、IPパケットのヘッダは圧縮されない。 Further, as the reference clock information, the 64-bit NTP time stamp is stored in the NTP packet and is stored in the IP packet. At this time, in the IP packet for storing the NTP packet, the source IP address, the destination IP address, the source port number, the destination port number, and the protocol type are fixed values, and the header of the IP packet is not compressed.
図79は、TLVパケットの構成を示す図である。 FIG. 79 is a diagram showing a configuration of a TLV packet.
TLVパケットには、図79に示すように、IPパケット、圧縮IPパケット、AMT(Address Map Table)やNIT(Network Information Table)などの伝送制御情報をデータとして含むことができ、これらのデータは、8ビットのデータタイプを用いて識別される。また、TLVパケットでは、16ビットのフィールドを用いてデータ長(バイト単位)が示され、そのあとにデータの値を格納する。また、TLVパケットは、データタイプの前に1バイトのヘッダ情報を有し、当該ヘッダ情報は、合計4バイトのヘッダ領域に格納される。また、TLVパケットは、高度BS伝送方式における伝送スロットにマッピングされ、TMCC(Transmission and Multiplexing Configuration Control)制御情報にマッピング情報が格納される。 As shown in FIG. 79, the TLV packet can include transmission control information such as an IP packet, a compressed IP packet, an AMT (Addless Map Table) and a NIT (Network Information Table) as data, and these data can be used as data. It is identified using an 8-bit data type. Further, in the TLV packet, the data length (in bytes) is indicated by using a 16-bit field, and the data value is stored after that. Further, the TLV packet has 1 byte of header information before the data type, and the header information is stored in a total of 4 bytes of header area. Further, the TLV packet is mapped to the transmission slot in the advanced BS transmission method, and the mapping information is stored in the TMCC (Transmission and Multiplexing Control) control information.
図80は、受信装置のブロック図の一例を示す図である。 FIG. 80 is a diagram showing an example of a block diagram of a receiving device.
受信装置900では、まずチューナー901で受信した放送信号に対し、復調手段902において伝送路符号化データを復号、誤り訂正などを施し、TLVパケットを抽出する。そして、TLV/IP DEMUX手段903では、TLVのDEMUX処理やIPのDEMUX処理を行う。TLVのDEMUX処理は、TLVパケットのデータタイプに応じた処理を行う。例えば、TLVパケットが圧縮IPパケットを有する場合は、当該圧縮IPパケットの圧縮されたヘッダを復元する。IP DEMUXでは、IPパケットやUDPパケットのヘッダ解析などの処理を行い、MMTPパケット及びNTPパケットを抽出する。
In the receiving
NTPクロック生成手段904では、抽出したNTPパケットからNTPクロックを再生する。MMTP DEMUX手段905では、抽出したMMTPパケットヘッダに格納されているパケットIDを基に映像や音声などのコンポーネントや制御情報のフィルタリング処理を行う。制御情報取得手段906は、MPテーブルの中に格納されるタイムスタンプ記述子を取得し、PTS/DTS算出手段907は、アクセスユニット毎のPTS及びDTSを算出する。なお、タイムスタンプ記述子は、MPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子の両記述子を含む。 The NTP clock generation means 904 reproduces the NTP clock from the extracted NTP packet. The MMTP DEMUX means 905 performs filtering processing of components such as video and audio and control information based on the packet ID stored in the extracted MMTP packet header. The control information acquisition means 906 acquires a time stamp descriptor stored in the MP table, and the PTS / DTS calculation means 907 calculates the PTS and DTS for each access unit. The time stamp descriptor includes both the MPU time stamp descriptor and the MPU extended time stamp descriptor.
アクセスユニット再生手段908は、MMTPパケットからフィルタリングされた映像や音声などを、提示する単位のデータに変換する。提示する単位のデータとは、具体的には、映像信号のNALユニットやアクセスユニット、音声フレーム、字幕の提示単位などである。復号提示手段909は、NTPクロックの基準時刻情報をベースに、アクセスユニットのPTS/DTSが一致した時刻に、アクセスユニットを復号、提示する。 The access unit reproduction means 908 converts video, audio, etc. filtered from the MMTP packet into data of a unit to be presented. Specifically, the data of the unit to be presented is a NAL unit or an access unit of a video signal, an audio frame, a presentation unit of subtitles, or the like. The decoding / presenting means 909 decodes and presents the access unit at the time when the PTS / DTS of the access unit matches, based on the reference time information of the NTP clock.
なお、受信装置の構成は、これに限るものではない。 The configuration of the receiving device is not limited to this.
図81は、伝送スロットの構成を示す図である。伝送スロットは、1フレームあたり120スロットで構成される。伝送スロットへの変調方式の割り当ては5 スロット単位である。また、1フレーム内では、最大16のストリームを伝送可能である。TLVパケット列により構成されるTLVストリームを識別するためのtlv_stream_idがTMCC内に格納され、スロットに格納されるtlv_stream_idを特定できる。スロット毎に変調方式および符号化率を変えることができ、使用するスロット数が決定されれば、TLVストリームの伝送速度は一意に決定される。 FIG. 81 is a diagram showing a configuration of a transmission slot. The transmission slot is composed of 120 slots per frame. The modulation method is assigned to the transmission slot in units of 5 slots. Further, a maximum of 16 streams can be transmitted in one frame. The tlv_stream_id for identifying the TLV stream composed of the TLV packet sequence is stored in the TMCC, and the tlv_stream_id stored in the slot can be specified. The modulation method and code rate can be changed for each slot, and once the number of slots to be used is determined, the transmission speed of the TLV stream is uniquely determined.
次に、実施の形態5の図68で説明した受信バッファモデルにおけるTLVパケットバッファのバッファサイズの規定方法を説明する。なお、TLVパケットバッファの引き抜きレートRxiは、実施の形態5で説明した引き抜きレートを用いる。受信バッファモデルについては、実施の形態5と同様であるため、説明を省略する。 Next, a method of defining the buffer size of the TLV packet buffer in the receive buffer model described with reference to FIG. 68 of the fifth embodiment will be described. As the extraction rate Rxi of the TLV packet buffer, the extraction rate described in the fifth embodiment is used. Since the reception buffer model is the same as that of the fifth embodiment, the description thereof will be omitted.
TLVパケットバッファのバッファサイズは、単位時間Tにおける平均パケット長SのTLVパケットで構成され、伝送レートRtで入力されたTLVストリームを引き抜きレートRxiで引き抜いた場合に想定される最大バッファ占有量を基準として算出されることにより規定される値である。ただし、平均パケット長Sは、TLVストリームの帯域をすべて用いてパケットを伝送した場合の平均とし、TLVヌルパケットおよびTLV-SIで伝送される帯域を除いたTLVストリームの帯域を平均したサイズではない。なお、ヘッダ圧縮量およびヘッダ伸張量が最も大きいパケットは、可変長パケットにおいて最もサイズの小さなパケットであり、上記TLVパケットバッファへの占有量が最大となるケースは、最小パケットサイズのパケットが最も連続した場合である。最小パケットサイズとなるパケットサイズは、TLVバッファのヘッダ量として規定もよいし、MMTパケットを格納する際の、TLV/IP/UDP/MMTヘッダの最小値としてもよい。 The buffer size of the TLV packet buffer is composed of TLV packets having an average packet length S in a unit time T, and is based on the maximum buffer occupancy assumed when a TLV stream input at a transmission rate Rt is extracted at a extraction rate Rxi. It is a value specified by being calculated as. However, the average packet length S is the average when the packet is transmitted using the entire band of the TLV stream, and is not the average size of the band of the TLV stream excluding the band transmitted by the TLV null packet and the TLV-SI. .. The packet with the largest amount of header compression and the amount of header decompression is the packet with the smallest size among variable-length packets, and in the case where the amount occupied by the TLV packet buffer is maximum, the packet with the minimum packet size is the most continuous. If you do. The packet size that is the minimum packet size may be specified as the header amount of the TLV buffer, or may be the minimum value of the TLV / IP / UDP / MMT header when storing the MMT packet.
なお、上記の受信バッファモデルにおけるTLVパケットバッファのバッファサイズの規定は言い換えれば、単位時間あたりに伝送されるTLVパケットの最大パケット数を規定することと等価である。また、上記バッファサイズの規定は、単位時間あたりの最小パケットサイズのパケットの連続数を制約する規定とも言える。 In other words, the specification of the buffer size of the TLV packet buffer in the above-mentioned receive buffer model is equivalent to specifying the maximum number of TLV packets transmitted per unit time. Further, it can be said that the above buffer size regulation limits the number of consecutive packets having the minimum packet size per unit time.
なお、上記バッファサイズの規定に用いられる、入力されるTLVストリームの伝送レートRtは、システムにおいて想定される最大伝送レートを基準とすることが望ましい。なお、必ずしも最大伝送レートである必要はない。また、単位時間Tの設定方法は任意であるが、送出側の制御の容易さを考慮して設定することが望ましい。 It is desirable that the transmission rate Rt of the input TLV stream used for defining the buffer size is based on the maximum transmission rate assumed in the system. The maximum transmission rate does not necessarily have to be the maximum transmission rate. Further, although the method of setting the unit time T is arbitrary, it is desirable to set it in consideration of the ease of control on the transmitting side.
送出設備(送信装置)は、例えば、入力の伝送レートRt、および引き抜きレートRxiを用いて決定されたバッファサイズをオーバーフローさせないように、パケット化しなければならない。 The transmitting equipment (transmitting device) must be packetized so as not to overflow the buffer size determined by using, for example, the input transmission rate Rt and the extraction rate Rxi.
なお、TLVパケットバッファのバッファサイズの算出で用いた伝送レートRt、単位時間T、平均パケット長Sは、算出基準とするための値であり、必ずしも前記値を用いて送出することを規定するものではない。実際にはTLVストリームの伝送速度は、伝送するレートによって異なり、例えば高度BS伝送方式(ARIB STD-B44)を用いて伝送する場合は、120スロットのうち、いくつのスロット数を用いて伝送するか、あるいは、伝送するスロットをどの変調方式と符号化率の組み合わせで伝送するか等により伝送レートは異なる。したがって、送出設備は、どの伝送レートで伝送する場合でも、上記バッファをオーバーフローさせないように伝送すればよい。バッファをオーバーフローさせないように伝送できれば、どのような制御、アルゴリズムを用いて伝送してもよい。 The transmission rate Rt, unit time T, and average packet length S used in calculating the buffer size of the TLV packet buffer are values used as calculation criteria, and specify that the values are not necessarily used for transmission. is not. Actually, the transmission speed of the TLV stream differs depending on the transmission rate. For example, when transmitting using the advanced BS transmission method (ARIB STD-B44), how many slots out of 120 slots are used for transmission? Alternatively, the transmission rate differs depending on which modulation method and coding rate combination is used for the transmission slot. Therefore, the transmission equipment may transmit so as not to overflow the buffer regardless of the transmission rate. Any control or algorithm may be used for transmission as long as the buffer can be transmitted so as not to overflow.
つまり、単位時間当たりに伝送されるTLVパケットの最大パケット数は、上記の伝送レートに応じて設定された、互いに異なる値である複数のパケット数を含み、所定のデータ単位の伝送レートに対応するパケット数以下の複数のTLVパケットを単位時間当たりに伝送することで、TLVパケットバッファがオーバーフローしないようにしてもよい。 That is, the maximum number of TLV packets transmitted per unit time includes a plurality of packets having different values set according to the above transmission rate, and corresponds to the transmission rate of a predetermined data unit. The TLV packet buffer may be prevented from overflowing by transmitting a plurality of TLV packets having a number of packets or less per unit time.
受信装置は、どの伝送レートで伝送された場合でも、上記で説明したバッファサイズ、引き抜きレートに基づくバッファを実装すれば、バッファをオーバーフローさせることなく、安定して受信動作が可能となる。つまり、受信装置は、伝送レートRt、平均パケット長S、及び引き抜きレートRxiを用いて求められる最大バッファ占有量よりも大きいバッファサイズのバッファを実装すればよい。 Regardless of the transmission rate of transmission, if the receiving device implements a buffer based on the buffer size and extraction rate described above, stable reception operation can be performed without overflowing the buffer. That is, the receiving device may implement a buffer having a buffer size larger than the maximum buffer occupancy obtained by using the transmission rate Rt, the average packet length S, and the extraction rate Rxi.
次に、伝送フレーム長単位(単位伝送期間)の所定の最大TLVパケット数を規定することのできる、TLVバッファモデルサイズの規定方法について説明する。 Next, a method for defining the TLV buffer model size, which can specify a predetermined maximum number of TLV packets in a transmission frame length unit (unit transmission period), will be described.
図82は、伝送フレームと、伝送フレームに格納される特定のtlv_stream_idを有する1つのTLVストリーム(TLVパケット列)とを示す図である。 FIG. 82 is a diagram showing a transmission frame and one TLV stream (TLV packet sequence) having a specific tlv_stream_id stored in the transmission frame.
また、図82における(1)は、上述したバッファサイズの規定方法において、単位時間Tを、伝送フレームを所定の伝送レートで伝送した場合の伝送フレーム長とした場合を示す図である。伝送フレーム長は、平均パケット長Sの平均区間、或いは、最大TLVパケット数、最小パケットサイズの最大連続数が制約される区間である。例えば、高度BS伝送方式(ARIB STD-B44)では、伝送フレーム長は33.04647msである。ここで、伝送フレーム長あたりに伝送できる最小パケットサイズの最大連続数はMであるとする。 Further, (1) in FIG. 82 is a diagram showing a case where the unit time T is set as the transmission frame length when the transmission frame is transmitted at a predetermined transmission rate in the above-mentioned method for defining the buffer size. The transmission frame length is an average section of the average packet length S, or a section in which the maximum number of TLV packets and the maximum number of consecutive packets of the minimum packet size are restricted. For example, in the advanced BS transmission method (ARIB STD-B44), the transmission frame length is 33.04647 ms. Here, it is assumed that the maximum number of consecutive packets of the minimum packet size that can be transmitted per transmission frame length is M.
この場合、送出側(送信装置)は、TLVパケットバッファをオーバーフローさせないようにTLVストリームを送出するために、伝送フレームの境界に関わらず、図82の(1)に示すA区間、B区間、及びC区間のどの区間においても、TLVストリームに格納されるTLVパケットの最大パケット数以下となるように、TLVストリームを生成するバッファモデルを満たすように送出してもよい。ここで、A区間、B区間及びC区間のそれぞれの区間の区間長は、伝送フレーム長である。つまり、この場合、送出設備(送信装置)は、単位時間あたりに所定のパケット数(最大TLVパケット数)以下の複数のTLVパケットを送出(送信)してもよい。 In this case, the transmitting side (transmitting device) transmits the TLV stream so as not to overflow the TLV packet buffer, so that the A section, the B section, and the B section shown in FIG. 82 (1) are transmitted regardless of the boundary of the transmission frame. In any section of the C section, transmission may be performed so as to satisfy the buffer model for generating the TLV stream so that the number of TLV packets stored in the TLV stream is equal to or less than the maximum number of packets. Here, the section length of each section of the A section, the B section, and the C section is the transmission frame length. That is, in this case, the transmitting equipment (transmitting device) may transmit (transmit) a plurality of TLV packets having a predetermined number of packets (maximum number of TLV packets) or less per unit time.
また、所定のパケット数は、最小パケットサイズのTLVパケットが連続しないように設定された値であってもよい。例えば、上述したように、所定のパケット数は、最小パケットサイズの最大連続数Mに設定された場合に算出される値であってもよい。 Further, the predetermined number of packets may be a value set so that TLV packets having the minimum packet size are not continuous. For example, as described above, the predetermined number of packets may be a value calculated when the maximum number of consecutive packets M of the minimum packet size is set.
また、例えば伝送フレーム単位などの所定のデータ単位で、伝送フレームあたりの最大パケット数、あるいは平均パケット長、あるいは最小パケットサイズのパケット連続数を規定してもよい。 Further, the maximum number of packets per transmission frame, the average packet length, or the number of consecutive packets having the minimum packet size may be specified in a predetermined data unit such as a transmission frame unit.
例えば、図82における(2)に示すD区間、E区間及びF区間のように、伝送フレーム単位で、最大パケット数、あるいは平均パケット長、あるいは最小パケットサイズのパケット連続数を規定してもよい。つまり、送出設備(送信装置)は、互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間(複数の伝送フレームに対応する複数の伝送フレーム長における期間)のそれぞれについて、当該単位伝送期間において伝送フレームを送信することで、単位時間あたりに所定のパケット数(最大TLVパケット数)以下の複数のTLVパケットを送出(送信)してもよい。この場合、所定のデータ単位としての伝送フレーム単位(つまり1つの伝送フレーム)には、所定のパケット数以下の複数のTLVパケットが格納される。 For example, as in the D section, E section, and F section shown in (2) in FIG. 82, the maximum number of packets, the average packet length, or the number of consecutive packets having the minimum packet size may be specified for each transmission frame. .. That is, the transmission equipment (transmission device) is a period of unit time that does not overlap with each other, and is the unit for each of a plurality of consecutive unit transmission periods (periods in a plurality of transmission frame lengths corresponding to a plurality of transmission frames). By transmitting a transmission frame during the transmission period, a plurality of TLV packets having a predetermined number of packets (maximum number of TLV packets) or less per unit time may be transmitted (transmitted). In this case, a plurality of TLV packets having a predetermined number of packets or less are stored in a transmission frame unit (that is, one transmission frame) as a predetermined data unit.
次に、受信バッファモデルにおけるTLVパケットバッファのバッファサイズの算出方法の具体例について説明する。 Next, a specific example of a method of calculating the buffer size of the TLV packet buffer in the receive buffer model will be described.
ここで、伝送フレーム単位あたりに伝送できる最小パケットサイズの最大連続数をMに設定する場合、実際に伝送されるTLVストリームにおいて、最小パケットサイズの最大連続パケット数は2×Mとなる。なお、最大連続数Mは、上記伝送フレーム長あたりに伝送できる最小パケットサイズの最大連続数と同じ値である。図82の例では、TLVストリームがD区間の後半にMパケット連続し、E区間の前半にMパケット連続するケースが最大連続パケット数となり、合計で(2×M)パケットが連続する。受信装置が(2×M)パケットの最小パケットサイズの連続に耐えうるバッファサイズを持つためには、伝送フレーム長あたりに伝送できる最小パケットサイズの最大連続数がMとした場合に上述の方法を用いて算出されるバッファサイズの2倍のバッファサイズが必要となる。 Here, when the maximum number of consecutive packets of the minimum packet size that can be transmitted per transmission frame unit is set to M, the maximum number of consecutive packets of the minimum packet size is 2 × M in the TLV stream that is actually transmitted. The maximum continuous number M is the same value as the maximum continuous number of the minimum packet size that can be transmitted per the transmission frame length. In the example of FIG. 82, the case where the TLV stream is M packets continuous in the latter half of the D section and M packets are continuous in the first half of the E section is the maximum number of continuous packets, and (2 × M) packets are continuous in total. In order for the receiving device to have a buffer size that can withstand the continuation of the minimum packet size of (2 × M) packets, the above method is used when the maximum number of consecutive minimum packet sizes that can be transmitted per transmission frame length is M. A buffer size that is twice the buffer size calculated using it is required.
言い換えれば、単位時間Tを伝送フレーム長として上述の方法を用いて算出されるバッファサイズの2倍以上のバッファサイズを持つようにTLVバッファサイズを規定することにより、送出設備は、単位時間Tを伝送フレーム長とした場合に算出される、最大パケット数、平均パケット長、あるいは最小パケットサイズのパケット連続数を、伝送フレーム単位での最大パケット数、平均パケット長、あるいは最小パケットサイズのパケット連続数とした場合でも、バッファモデルを満たすように送出することができる。 In other words, by defining the TLV buffer size so that it has a buffer size that is at least twice the buffer size calculated using the above method with the unit time T as the transmission frame length, the transmission equipment sets the unit time T. The maximum number of packets, the average packet length, or the number of consecutive packets of the minimum packet size calculated when the transmission frame length is used is the maximum number of packets, the average packet length, or the number of consecutive packets of the minimum packet size in each transmission frame. Even if it is, it can be sent so as to satisfy the buffer model.
以上のように、TLVパケットバッファのバッファサイズ、引き抜きレートを設定することにより、伝送フレーム単位の最大パケット数、平均パケット長、あるいは最小パケットサイズのパケット連続数を規定することができる。なお、最大パケット数、平均パケット長、及び最小パケットサイズのパケット連続数は、TLVパケットバッファのバッファサイズ、入力レート(伝送レート)、引き抜きレート、及び最小パケットサイズにより算出できる。 As described above, by setting the buffer size and the extraction rate of the TLV packet buffer, it is possible to specify the maximum number of packets per transmission frame, the average packet length, or the number of consecutive packets of the minimum packet size. The maximum number of packets, the average packet length, and the number of consecutive packets with the minimum packet size can be calculated from the buffer size, input rate (transmission rate), extraction rate, and minimum packet size of the TLV packet buffer.
したがって、TLVパケットバッファのバッファサイズ、引き抜きレート、及び最小パケットサイズが定まっている場合は、TLVストリームの伝送速度(伝送レート)ごとに、伝送フレームに格納される、最大パケット数、平均パケット長、あるいは最小パケットサイズのパケット連続数を規定することができ、送出制御(パケット化、あるいは伝送フレームへのマッピング)が容易となる。 Therefore, if the buffer size, extraction rate, and minimum packet size of the TLV packet buffer are fixed, the maximum number of packets, the average packet length, and the maximum number of packets stored in the transmission frame for each transmission rate (transmission rate) of the TLV stream. Alternatively, the number of consecutive packets with the minimum packet size can be specified, and transmission control (packetization or mapping to a transmission frame) becomes easy.
次に、図82で説明した方法を用いて、TLVパケットバッファのバッファサイズ、および、伝送フレーム単位での最大パケット数、(あるいは最小パケットサイズのパケット最大連続数)を規定した場合の、送出方法について図83を用いて説明する。図83は、TLVパケットバッファのバッファサイズ、および、伝送フレーム単位での最大パケット数を規定した場合の送出方法のフローチャートである。 Next, when the buffer size of the TLV packet buffer and the maximum number of packets per transmission frame (or the maximum number of consecutive packets of the minimum packet size) are specified by using the method described with reference to FIG. 82, a transmission method is used. Will be described with reference to FIG. 83. FIG. 83 is a flowchart of a transmission method when the buffer size of the TLV packet buffer and the maximum number of packets in each transmission frame are specified.
なお、フローチャートおよび説明ではTLVパケットを伝送フレームに格納する例を示しているが、TLVパケットを伝送フレームに格納する場合に限らず、格納を検討する場合にも同フローを用いることができる。 Although the flowchart and the description show an example of storing the TLV packet in the transmission frame, the same flow can be used not only when the TLV packet is stored in the transmission frame but also when considering storage.
まず、伝送フレーム単位に、MMTパケットが格納されるTLVパケットの格納の検討を開始する。 First, the study of storing the TLV packet in which the MMT packet is stored is started for each transmission frame.
伝送フレームに格納するTLVパケットがMMTPパケットを格納するTLVパケット(実パケット)であるか否かを判定する(S2201)。 It is determined whether or not the TLV packet stored in the transmission frame is a TLV packet (actual packet) for storing the MMTP packet (S2201).
当該TLVパケットがMMTPパケットを格納しているTLVパケットであると判定した場合(S2201でYes)、当該TLVパケットを伝送フレームに格納し、伝送フレーム内に格納されるパケット数を+1カウントする(S2202)。 When it is determined that the TLV packet is a TLV packet containing an MMTP packet (Yes in S2201), the TLV packet is stored in the transmission frame, and the number of packets stored in the transmission frame is counted by +1 (S2202). ).
一方、TLVパケットがMMTパケット以外を格納するTLVパケット(NULLパケット或いはTLV-SI)であると判定した場合(S2201でNo)、MMTパケット以外を格納するTLVパケットのサイズを累積し、1.5kB(MTUサイズ)ごとにパケット数を1カウントする(S2203)。 On the other hand, when it is determined that the TLV packet is a TLV packet (NULL packet or TLV-SI) that stores other than the MMT packet (No in S2201), the size of the TLV packet that stores other than the MMT packet is accumulated and 1.5 kB. The number of packets is counted by 1 for each (MTU size) (S2203).
つまり、TLVパケットには、無効なパケット(NULLパケット)とは異なる実パケット(MMTPパケット)を格納している第1伝送パケットと、NULLパケットを格納している第2伝送パケットとの2種類がある。また、第1の伝送パケットは所定のパケットサイズの最大値が規定されており、第2の伝送パケットは第1の伝送パケットのパケットサイズの最大値を超えるパケットサイズとなる場合があるパケットと言う事もできる。TLVパケットを伝送フレームに格納するときにおいて、第1伝送パケットを伝送フレームに格納する場合、第1伝送パケットの数を第1パケット数としてカウントし、第2伝送パケットを伝送フレームに格納する場合、第2伝送パケットのパケットサイズを第1伝送パケットのパケットサイズの最大値(1.5kB)で除すことにより得られた整数値を第2パケット数としてカウントし、カウントすることにより得られた第1パケット数及び第2パケット数の総和が所定のパケット数以下となるように、複数のTLVパケットを伝送フレームに格納する。なお、第2パケット数は、より具体的には、第2伝送パケットのパケットサイズを第1伝送パケットのパケットサイズの最大値で除して得られた商に1を加算した整数値である。例えば、第2のパケットのパケットサイズが常に第1のパケットのパケットサイズの最大値より小さい場合は、第2伝送パケットの数が第2パケット数と等価となることは言うまでもない。 That is, there are two types of TLV packets: a first transmission packet containing a real packet (MMTP packet) different from an invalid packet (NULL packet), and a second transmission packet containing a FULL packet. be. Further, the first transmission packet is defined as the maximum value of a predetermined packet size, and the second transmission packet is said to be a packet whose packet size may exceed the maximum value of the packet size of the first transmission packet. You can also do things. When storing the TLV packet in the transmission frame, when the first transmission packet is stored in the transmission frame, the number of the first transmission packets is counted as the number of the first packets, and when the second transmission packet is stored in the transmission frame. The integer value obtained by dividing the packet size of the second transmission packet by the maximum value (1.5 kHz) of the packet size of the first transmission packet is counted as the number of second packets, and the second obtained by counting. A plurality of TLV packets are stored in the transmission frame so that the sum of the number of one packet and the number of second packets is equal to or less than a predetermined number of packets. More specifically, the number of second packets is an integer value obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet and adding 1 to the quotient obtained. For example, it goes without saying that the number of second transmission packets is equivalent to the number of second packets when the packet size of the second packet is always smaller than the maximum value of the packet size of the first packet.
ステップS2202またはステップS2203の後において、伝送フレーム内の累積TLVパケットサイズ(合計データサイズ)を算出する(S2204)。つまり、1つの伝送フレーム内に格納するTLVパケットのパケットサイズの総和を算出する。 After step S2202 or step S2203, the cumulative TLV packet size (total data size) in the transmission frame is calculated (S2204). That is, the total packet size of the TLV packets stored in one transmission frame is calculated.
次に、ステップS2204で算出した合計データサイズが伝送フレーム単位の最大データサイズに達しているか否かを判定する(S2205)。 Next, it is determined whether or not the total data size calculated in step S2204 has reached the maximum data size in units of transmission frames (S2205).
合計データサイズが伝送フレーム単位の最大データサイズに達している場合(ステップS2205でYes)、TLVパケットを挿入せずにヌルパケットを配置して処理を終了する。 When the total data size has reached the maximum data size in the transmission frame unit (Yes in step S2205), a null packet is arranged without inserting the TLV packet and the process ends.
一方で、合計データサイズが伝送フレーム単位の最大データサイズに達していない場合(ステップS2205でNo)、ステップS2202で算出した第1パケット数及びステップS2203において算出した第2パケット数の総和が伝送フレーム単位の最大パケット数(つまり、所定のパケット数)に達しているか否かを判定する(S2206)。 On the other hand, when the total data size does not reach the maximum data size in units of transmission frames (No in step S2205), the total number of first packets calculated in step S2202 and the total number of second packets calculated in step S2203 is the transmission frame. It is determined whether or not the maximum number of packets in the unit (that is, a predetermined number of packets) has been reached (S2206).
そして、第1パケット数及び第2パケット数の総和が最大パケット数に達していると判定した場合(ステップS2206でYes)、MMTPパケットが格納されたTLVパケット(第1伝送パケット)の伝送フレームへの格納を完了し、次のMMTPパケットが格納されたTLVパケットは次の伝送フレームに格納する。 Then, when it is determined that the total number of the first packet and the second packet has reached the maximum number of packets (Yes in step S2206), the transmission frame of the TLV packet (first transmission packet) in which the MMTP packet is stored is reached. The TLV packet in which the next MMTP packet is stored is stored in the next transmission frame.
また、当該伝送フレームの残りの伝送帯域には、MMTPパケットが格納されたTLVパケット(第1伝送パケット)以外の例えばNULLパケット或いはTLV-SIが格納されたTLVパケット(第2伝送パケット)を格納する(S2207)。 Further, in the remaining transmission band of the transmission frame, for example, a NULL packet or a TLV packet (second transmission packet) containing a TLV-SI other than the TLV packet (first transmission packet) in which the MMTP packet is stored is stored. (S2207).
以上のように、受信バッファモデルにおけるTLVパケットバッファの規定を満たすための制御を、伝送フレームに格納するパケット数や、パケットサイズ、伝送フレームに格納できるバイト数、伝送フレームに格納できる最大パケット数のみを用いて容易に制御できる。 As described above, the control for satisfying the TLV packet buffer specification in the receive buffer model is limited to the number of packets stored in the transmission frame, the packet size, the number of bytes that can be stored in the transmission frame, and the maximum number of packets that can be stored in the transmission frame. Can be easily controlled using.
また、伝送フレームに格納されるTLVパケットの最大パケット数を規定できることにより、受信装置の設計も容易となる。つまり、受信装置は、TLVパケットバッファとして機能するバッファのバッファサイズを、伝送レート、伝送パケットの平均パケット長、及び引き抜きレートを用いて求められる最大バッファ占有量よりも大きく設計すればよい。 Further, since the maximum number of TLV packets stored in the transmission frame can be specified, the design of the receiving device becomes easy. That is, the receiving device may design the buffer size of the buffer that functions as the TLV packet buffer to be larger than the maximum buffer occupancy obtained by using the transmission rate, the average packet length of the transmission packet, and the extraction rate.
なお、最大TLVストリームの伝送速度毎(変調方式、符号化率、使用伝送スロット数毎)に、1フレーム毎の1TLVストリームあたりの最大パケット数、平均パケット長、あるいは最小パケットサイズのパケット連続数を規定する場合、他の制約と合わせて規定してもよい。例えば、平均パケット長がTSパケット(平均188バイト或いは平均187バイト)以下とならにように制約してもよい。 For each transmission speed of the maximum TLV stream (modulation method, coding rate, number of transmission slots used), the maximum number of packets per 1 TLV stream per frame, the average packet length, or the number of consecutive packets of the minimum packet size is calculated. If specified, it may be specified in combination with other restrictions. For example, the average packet length may be restricted to be less than or equal to a TS packet (average 188 bytes or average 187 bytes).
可変長パケットのパケット数が、固定長のTSパケットを格納する場合より大きくならない制約となり、実装、および受信装置の設計が容易となる。 The number of variable-length packets is a constraint that does not become larger than when a fixed-length TS packet is stored, which facilitates implementation and design of a receiving device.
なお、TLVパケットバッファに入力されるデータを、特定のtlv_stream_idを有する1つのTLVストリームとしたが、特定のtlv_stream_id、特定のIPアドレス、特定のUDPポート番号を有する1つのIPデータフローとすることにより、IPデータフローごとの規定として置き換えてもよい。 The data input to the TLV packet buffer is one TLV stream having a specific tlv_stream_id, but by using one IP data flow having a specific tlv_stream_id, a specific IP address, and a specific UDP port number. , May be replaced as a rule for each IP data flow.
また、例えば、高度BS/CS放送において、CSの場合は、1つのTLVストリーム内に複数のIPデータフロー(=サービス)が格納される。この場合、サービス毎に受信バッファモデルや、伝送フレーム単位での最大パケット数等を規定することができる。 Further, for example, in advanced BS / CS broadcasting, in the case of CS, a plurality of IP data flows (= services) are stored in one TLV stream. In this case, the receive buffer model, the maximum number of packets in each transmission frame, and the like can be specified for each service.
[補足:送信装置及び受信装置]
以上のように、受信装置のバッファ動作を保証するために予め定められた受信バッファモデルによる規定を満たした状態で複数の伝送パケットが格納された所定のデータ単位を送信する送信装置は、図84のように構成することも可能である。また、所定のデータ単位を受信する受信装置は、図85のように構成することも可能である。図84は、送信装置の具体的構成の例を示す図である。図85は、受信装置の具体的構成の例を示す図である。
[Supplement: Transmitter and receiver]
As described above, FIG. 84 is a transmitting device that transmits a predetermined data unit in which a plurality of transmission packets are stored in a state that satisfies the predetermined rules of the receiving buffer model in order to guarantee the buffer operation of the receiving device. It is also possible to configure as follows. Further, the receiving device for receiving a predetermined data unit can also be configured as shown in FIG. 85. FIG. 84 is a diagram showing an example of a specific configuration of the transmission device. FIG. 85 is a diagram showing an example of a specific configuration of the receiving device.
送信装置1000は、送信部1001を備える。送信部1001は、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。つまり、送信装置1000を構成する各処理部は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。
The
受信装置1100は、受信部1101と、バッファ1102とを備える。受信部1101及びバッファ1102のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。つまり、受信装置1100を構成する各処理部は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。
The
送信装置1000及び受信装置1100の各構成要素についての詳細な説明は、それぞれ、送信方法及び受信方法の説明において行う。
A detailed description of each component of the
まず、送信方法については、図86を用いて説明する。図86は、送信装置による動作フロー(送信方法)である。 First, the transmission method will be described with reference to FIG. 86. FIG. 86 is an operation flow (transmission method) by the transmission device.
送信方法は、受信装置1100のバッファ動作を保証するために予め定められた受信バッファモデルによる規定を満たした状態で複数の伝送パケットを送信する送信方法である。
The transmission method is a transmission method in which a plurality of transmission packets are transmitted in a state of satisfying the predetermined rules of the receive buffer model in order to guarantee the buffer operation of the
まず、送信装置1000の送信部1001は、単位時間あたりに所定のパケット数以下の複数の伝送パケットを送信する(S2301)。
First, the
なお、伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成される。また、受信バッファモデルは、伝送パケットを受信し、受信した伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた第2パケットを所定の引き抜きレートで出力するバッファを含む。 The transmission packet is composed of a variable-length packet header and a variable-length payload. In the receive buffer model, the transmission packet is received, and the first packet composed of the variable-length packet header and the variable-length payload stored in the received transmission packet is expanded into a fixed-length packet header. The second packet is converted into a second packet having the above, and the second packet obtained by the conversion is output at a predetermined extraction rate.
これにより、送信装置1000は、MMTのような方式を用いてデータ伝送する場合に、受信装置1100のバッファ動作を保証できる。
Thereby, the
次に、受信方法について、図87を用いて説明する。図87は、受信装置による動作フロー(受信方法)である。 Next, the receiving method will be described with reference to FIG. 87. FIG. 87 is an operation flow (reception method) by the receiving device.
まず、受信装置1100の受信部1101は、それぞれが可変長のパケットヘッダおよび可変長のペイロードで構成される複数の伝送パケットで構成される複数の伝送パケットを受信する(S2401)。
First, the receiving
次に、受信装置1100のバッファ1102は、受信された複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた第2パケットを所定の引き抜きレートで出力する(S2402)。
Next, the
なお、バッファのバッファサイズは、複数の伝送パケットの伝送レート、伝送パケットの平均パケット長、及び引き抜きレートを用いて求められる最大バッファ占有量よりも大きい。 The buffer size of the buffer is larger than the maximum buffer occupancy obtained by using the transmission rate of a plurality of transmission packets, the average packet length of the transmission packets, and the extraction rate.
これにより、受信装置1100は、バッファにおいてアンダーフローやオーバーフローが発生することなく処理を行うことができる。
As a result, the
(その他の実施の形態)
以上、実施の形態に係る送信装置、受信装置、送信方法及び受信方法ついて説明したが、本発明は、この実施の形態に限定されるものではない。
(Other embodiments)
Although the transmission device, the reception device, the transmission method, and the reception method according to the embodiment have been described above, the present invention is not limited to this embodiment.
また、上記実施の形態に係る送信装置及び受信装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。 Further, each processing unit included in the transmission device and the reception device according to the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them.
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Further, the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI may be used.
上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 In each of the above embodiments, each component may be configured with dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
言い換えると、送信装置及び受信装置は、処理回路(processing circuitry)と、当該処理回路に電気的に接続された(当該制御回路からアクセス可能な)記憶装置(storage)とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る送信方法又は受信方法を実行する。 In other words, the transmitting device and the receiving device include a processing circuit and a storage device electrically connected to the processing circuit (accessible from the control circuit). The processing circuit includes at least one of dedicated hardware and a program execution unit. Further, when the processing circuit includes a program execution unit, the storage device stores the software program executed by the program execution unit. The processing circuit uses the storage device to execute the transmission method or the reception method according to the above embodiment.
さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。 Further, the present invention may be the software program or a non-temporary computer-readable recording medium in which the program is recorded. Needless to say, the above program can be distributed via a transmission medium such as the Internet.
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。 In addition, the numbers used above are all exemplified for the purpose of specifically explaining the present invention, and the present invention is not limited to the exemplified numbers.
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。 In addition, the division of functional blocks in the block diagram is an example, and multiple functional blocks can be realized as one functional block, one functional block can be divided into multiple, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
また、上記の送信方法又は受信方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。 Further, the order in which the steps included in the above transmission method or reception method are executed is for exemplifying the present invention in detail, and may be an order other than the above. Further, a part of the above steps may be executed simultaneously with other steps (parallel).
以上、本発明の一つ又は複数の態様に係る送信装置、受信装置、送信方法及び受信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。 Although the transmitting device, the receiving device, the transmitting method and the receiving method according to one or more aspects of the present invention have been described above based on the embodiments, the present invention is not limited to the present embodiments. not. As long as it does not deviate from the gist of the present invention, one or a plurality of embodiments of the present invention may be obtained by subjecting various modifications conceived by those skilled in the art to the present embodiment or by combining components in different embodiments. It may be included within the scope of the embodiment.
本発明は、ビデオデータ及びオーディオデータなどのメディアトランスポートを行う装置又は機器に適用できる。 The present invention can be applied to a device or device that performs media transport such as video data and audio data.
15、100、300、500、700、1000 送信装置
16、101、301 符号化部
17、102 多重化部
18、104 送信部
20、200、400、600、800、1100 受信装置
21 パケットフィルタリング部
22 送信順序タイプ判別部
23 ランダムアクセス部
24、212 制御情報取得部
25 データ取得部
26 算出部
27 初期化情報取得部
28、206 復号命令部
29、204A、204B、204C、204D、402 復号部
30 提示部
201 チューナー
202 復調部
203 逆多重化部
205 表示部
211 タイプ判別部
213 スライス情報取得部
214 復号データ生成部
302 付与部
303、503、702、1001 送信部
401、601、801、1101 受信部
501 分割部
502、603 構成部
602 判定部
701 生成部
802 第1のバッファ
803 第2のバッファ
804 第3のバッファ
805 第4のバッファ
806 復号部
1102 バッファ
15, 100, 300, 500, 700, 1000
Claims (4)
前記伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成され、
送信される前記複数の伝送パケットを受信する受信バッファモデルは、
前記伝送パケットを受信し、受信した前記伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファを含み、
所定のパケット数以下の前記複数の伝送パケットを所定のデータ単位に格納し、
互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において前記所定のデータ単位を送信することで、前記単位時間あたりに前記所定のパケット数以下の前記複数の伝送パケットを送信し、
前記複数の伝送パケットは、無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、
前記格納では、
前記第1伝送パケットを前記所定のデータ単位に格納する場合、前記第1伝送パケットの数を第1パケット数としてカウントし、
前記第2伝送パケットを前記所定のデータ単位に格納する場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値を第2パケット数としてカウントし、
カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記複数の伝送パケットを前記所定のデータ単位に格納し、
前記無効なパケットは、NULLパケットである
送信方法。 A transmission method that sends multiple transmission packets.
The transmission packet is composed of a variable length packet header and a variable length payload.
The receive buffer model for receiving the plurality of transmitted packets to be transmitted is
A first packet composed of a variable-length packet header and a variable-length payload stored in the received transmission packet after receiving the transmission packet, and a second packet having a fixed-length packet header with the header extended. And includes a buffer that outputs the second packet obtained by the conversion at a predetermined extraction rate.
The plurality of transmission packets having a predetermined number of packets or less are stored in a predetermined data unit, and the plurality of transmission packets are stored.
By transmitting the predetermined data unit in the unit transmission period for each of a plurality of consecutive unit transmission periods that do not overlap each other, the number of packets is less than or equal to the predetermined number of packets per unit time. The plurality of transmission packets are transmitted, and the plurality of transmission packets are transmitted.
The plurality of transmission packets include a first transmission packet containing an actual packet different from an invalid packet and a second transmission packet containing the invalid packet.
In the above storage,
When the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets.
When the second transmission packet is stored in the predetermined data unit, 1 is added to the quotient obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet. Counting the integer value as the number of second packets,
The plurality of transmission packets are stored in the predetermined data unit so that the total number of the first packet and the second packet obtained by counting is equal to or less than the predetermined number of packets.
The transmission method in which the invalid packet is a NULL packet.
それぞれが可変長のパケットヘッダおよび可変長のペイロードで構成される複数の伝送パケットを受信し、
受信された前記複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに前記バッファを用いて変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで前記バッファから出力し、
前記バッファのバッファサイズは、前記複数の伝送パケットの伝送レート、前記伝送パケットの平均パケット長、及び前記引き抜きレートを用いて求められる最大バッファ占有量よりも大きく、
前記複数の伝送パケットは、
互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において所定のデータ単位に格納されて送信されることで、前記単位時間あたりに送信された所定のパケット数以下の伝送パケットであり、
無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、
前記所定のデータ単位に格納されている前記複数の伝送パケットは、
前記第1伝送パケットが前記所定のデータ単位に格納されている場合、前記第1伝送パケットの数が第1パケット数としてカウントされ、
前記第2伝送パケットが前記所定のデータ単位に格納されている場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値が第2パケット数としてカウントされ、
カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記所定のデータ単位に格納されたパケットであり、
前記無効なパケットは、NULLパケットである
受信方法。 A receiving method in a receiving device having a buffer.
Receives multiple transmission packets, each consisting of a variable length packet header and a variable length payload,
The first packet composed of the variable-length packet header and the variable-length payload stored in the plurality of received transmission packets is combined with the buffer in the second packet having the fixed-length packet header with the header extended. The second packet obtained by the conversion is output from the buffer at a predetermined extraction rate.
The buffer size of the buffer is larger than the maximum buffer occupancy obtained by using the transmission rate of the plurality of transmission packets, the average packet length of the transmission packets, and the extraction rate.
The plurality of transmission packets are
Predetermined transmission per unit time by storing and transmitting in a predetermined data unit in the unit transmission period for each of a plurality of consecutive unit transmission periods that do not overlap each other. Transmission packets that are less than or equal to the number of packets in
A first transmission packet containing a real packet different from an invalid packet and a second transmission packet containing the invalid packet are included.
The plurality of transmission packets stored in the predetermined data unit are
When the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets.
When the second transmission packet is stored in the predetermined data unit, 1 is added to the quotient obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet. The added integer value is counted as the number of second packets, and is counted.
It is a packet stored in the predetermined data unit so that the total number of the first packet and the second packet obtained by counting is equal to or less than the predetermined number of packets.
The invalid packet is a receiving method that is a NULL packet.
前記伝送パケットは、可変長のパケットヘッダおよび可変長のペイロードで構成され、
送信される前記複数の伝送パケットを受信する受信バッファモデルは、
前記伝送パケットを受信し、受信した前記伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファを含み、
所定のパケット数以下の前記複数の伝送パケットを所定のデータ単位に格納し、かつ、互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において前記所定のデータ単位を送信することで、前記単位時間あたりに前記所定のパケット数以下の前記複数の伝送パケットを送信する送信部を備え、
前記複数の伝送パケットは、無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、
前記送信部は、
前記第1伝送パケットを前記所定のデータ単位に格納する場合、前記第1伝送パケットの数を第1パケット数としてカウントし、
前記第2伝送パケットを前記所定のデータ単位に格納する場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値を第2パケット数としてカウントし、
カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記複数の伝送パケットを前記所定のデータ単位に格納し、
前記無効なパケットは、NULLパケットである
送信装置。 A transmission device that transmits a predetermined data unit in which multiple transmission packets are stored.
The transmission packet is composed of a variable length packet header and a variable length payload.
The receive buffer model for receiving the plurality of transmitted packets to be transmitted is
A first packet composed of a variable-length packet header and a variable-length payload stored in the received transmission packet after receiving the transmission packet, and a second packet having a fixed-length packet header with the header extended. And includes a buffer that outputs the second packet obtained by the conversion at a predetermined extraction rate.
The plurality of transmission packets having a predetermined number of packets or less are stored in a predetermined data unit, and the unit time period does not overlap with each other, and each of the plurality of consecutive unit transmission periods is described in the unit transmission period. A transmission unit for transmitting a plurality of transmission packets having a predetermined number of packets or less per unit time by transmitting a predetermined data unit is provided.
The plurality of transmission packets include a first transmission packet containing an actual packet different from an invalid packet and a second transmission packet containing the invalid packet.
The transmitter is
When the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets.
When the second transmission packet is stored in the predetermined data unit, 1 is added to the quotient obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet. Counting the integer value as the number of second packets,
The plurality of transmission packets are stored in the predetermined data unit so that the total number of the first packet and the second packet obtained by counting is equal to or less than the predetermined number of packets.
The invalid packet is a transmitting device that is a NULL packet.
前記受信された前記複数の伝送パケットに格納されている可変長のパケットヘッダおよび可変長のペイロードで構成される第1パケットを、ヘッダ伸張された固定長のパケットヘッダを有する第2パケットに変換し、変換することにより得られた前記第2パケットを所定の引き抜きレートで出力するバッファと、を備え、
前記バッファのバッファサイズは、前記複数の伝送パケットの伝送レート、前記伝送パケットの平均パケット長、及び前記引き抜きレートを用いて求められる最大バッファ占有量よりも大きく、
前記複数の伝送パケットは、
互いに重ならない単位時間の期間であって、連続した複数の単位伝送期間のそれぞれについて、当該単位伝送期間において所定のデータ単位に格納されて送信されることで、前記単位時間あたりに送信された所定のパケット数以下の伝送パケットであり、
無効なパケットとは異なる実パケットを格納している第1伝送パケットと、前記無効なパケットを格納している第2伝送パケットとを含み、
前記所定のデータ単位に格納されている前記複数の伝送パケットは、
前記第1伝送パケットが前記所定のデータ単位に格納されている場合、前記第1伝送パケットの数が第1パケット数としてカウントされ、
前記第2伝送パケットが前記所定のデータ単位に格納されている場合、当該第2伝送パケットのパケットサイズを前記第1伝送パケットのパケットサイズの最大値で除すことにより得られた商に1を加算した整数値が第2パケット数としてカウントされ、
カウントすることにより得られた第1パケット数及び第2パケット数の総和が前記所定のパケット数以下となるように、前記所定のデータ単位に格納されたパケットであり、
前記無効なパケットは、NULLパケットである
受信装置。 A receiver that receives multiple transmission packets, each consisting of a variable-length packet header and a variable-length payload.
The first packet composed of the variable-length packet header and the variable-length payload stored in the plurality of received transmission packets is converted into a second packet having a fixed-length packet header with the header extended. , A buffer that outputs the second packet obtained by conversion at a predetermined extraction rate.
The buffer size of the buffer is larger than the maximum buffer occupancy obtained by using the transmission rate of the plurality of transmission packets, the average packet length of the transmission packets, and the extraction rate.
The plurality of transmission packets are
Predetermined transmission per unit time by storing and transmitting in a predetermined data unit in the unit transmission period for each of a plurality of consecutive unit transmission periods that do not overlap each other. Transmission packets that are less than or equal to the number of packets in
A first transmission packet containing a real packet different from an invalid packet and a second transmission packet containing the invalid packet are included.
The plurality of transmission packets stored in the predetermined data unit are
When the first transmission packet is stored in the predetermined data unit, the number of the first transmission packets is counted as the number of first packets.
When the second transmission packet is stored in the predetermined data unit, 1 is added to the quotient obtained by dividing the packet size of the second transmission packet by the maximum value of the packet size of the first transmission packet. The added integer value is counted as the number of second packets, and is counted.
It is a packet stored in the predetermined data unit so that the total number of the first packet and the second packet obtained by counting is equal to or less than the predetermined number of packets.
The invalid packet is a receiving device that is a NULL packet.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032489A JP7361287B2 (en) | 2015-08-03 | 2022-03-03 | Transmission method and transmission device |
JP2023155624A JP2023168403A (en) | 2015-08-03 | 2023-09-21 | Transmission method, reception method, transmission device, and reception device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562200294P | 2015-08-03 | 2015-08-03 | |
US62/200,294 | 2015-08-03 | ||
JP2016138054A JP6868802B2 (en) | 2015-08-03 | 2016-07-12 | Transmission method, reception method, transmission device and reception device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016138054A Division JP6868802B2 (en) | 2015-08-03 | 2016-07-12 | Transmission method, reception method, transmission device and reception device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032489A Division JP7361287B2 (en) | 2015-08-03 | 2022-03-03 | Transmission method and transmission device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021101581A JP2021101581A (en) | 2021-07-08 |
JP7054780B2 true JP7054780B2 (en) | 2022-04-15 |
Family
ID=57942633
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021052236A Active JP7054780B2 (en) | 2015-08-03 | 2021-03-25 | Transmission method, reception method, transmission device and reception device |
JP2022032489A Active JP7361287B2 (en) | 2015-08-03 | 2022-03-03 | Transmission method and transmission device |
JP2023155624A Pending JP2023168403A (en) | 2015-08-03 | 2023-09-21 | Transmission method, reception method, transmission device, and reception device |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032489A Active JP7361287B2 (en) | 2015-08-03 | 2022-03-03 | Transmission method and transmission device |
JP2023155624A Pending JP2023168403A (en) | 2015-08-03 | 2023-09-21 | Transmission method, reception method, transmission device, and reception device |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP7054780B2 (en) |
WO (1) | WO2017022211A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110913421B (en) * | 2018-09-18 | 2021-10-29 | 大唐移动通信设备有限公司 | Method and device for determining voice packet number |
CN112290952B (en) * | 2020-10-10 | 2023-07-18 | 中科驭数(北京)科技有限公司 | Parallel data coding device and method |
CN116827883B (en) * | 2023-08-25 | 2023-11-17 | 明度智云(浙江)科技有限公司 | SCADA system offline data caching method, device and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010106796A1 (en) | 2009-03-18 | 2010-09-23 | パナソニック株式会社 | Content transmission device and content transmission/reception system |
WO2014058237A1 (en) | 2012-10-10 | 2014-04-17 | Samsung Electronics Co., Ltd. | Method and apparatus for media data delivery control |
-
2016
- 2016-07-27 WO PCT/JP2016/003475 patent/WO2017022211A1/en active Application Filing
-
2021
- 2021-03-25 JP JP2021052236A patent/JP7054780B2/en active Active
-
2022
- 2022-03-03 JP JP2022032489A patent/JP7361287B2/en active Active
-
2023
- 2023-09-21 JP JP2023155624A patent/JP2023168403A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010106796A1 (en) | 2009-03-18 | 2010-09-23 | パナソニック株式会社 | Content transmission device and content transmission/reception system |
WO2014058237A1 (en) | 2012-10-10 | 2014-04-17 | Samsung Electronics Co., Ltd. | Method and apparatus for media data delivery control |
Non-Patent Citations (1)
Title |
---|
デジタル放送におけるMMTによるメディアトランスポート方式,ARIB STD-B60 ,1.0版,日本,一般社団法人 電波産業会,2014年07月31日,p.155 |
Also Published As
Publication number | Publication date |
---|---|
JP2022075740A (en) | 2022-05-18 |
WO2017022211A1 (en) | 2017-02-09 |
JP2023168403A (en) | 2023-11-24 |
JP2021101581A (en) | 2021-07-08 |
JP7361287B2 (en) | 2023-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868802B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP6868838B2 (en) | Transmitter, receiver, transmitter and receiver | |
JP6846653B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP7295293B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP7361287B2 (en) | Transmission method and transmission device | |
JP7089094B2 (en) | Receiving method, transmitting method, receiving device and transmitting device | |
JP7036956B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP2023164690A (en) | Transmission device, reception device, transmission method and reception method | |
JP7036957B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP6961772B2 (en) | Transmission method, reception method, transmitter and receiver | |
WO2016021153A1 (en) | Transmission method, reception method, transmission device, and reception device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7054780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |