Nothing Special   »   [go: up one dir, main page]

WO2013165215A1 - 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치 - Google Patents

영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치 Download PDF

Info

Publication number
WO2013165215A1
WO2013165215A1 PCT/KR2013/003869 KR2013003869W WO2013165215A1 WO 2013165215 A1 WO2013165215 A1 WO 2013165215A1 KR 2013003869 W KR2013003869 W KR 2013003869W WO 2013165215 A1 WO2013165215 A1 WO 2013165215A1
Authority
WO
WIPO (PCT)
Prior art keywords
nal unit
nal
type
units
decoder setting
Prior art date
Application number
PCT/KR2013/003869
Other languages
English (en)
French (fr)
Inventor
헨드리헨드리
김정선
전병문
정상오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/398,559 priority Critical patent/US10097841B2/en
Publication of WO2013165215A1 publication Critical patent/WO2013165215A1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Definitions

  • the present invention relates to image compression, and more particularly, to a file format of compressed image information.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used to increase the efficiency of image compression.
  • the pixel value of the current picture is predicted by referring to information of another picture, and in the intra prediction method, the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • An object of the present invention is to provide a method and apparatus for efficiently storing and transmitting information for encoding a large amount of high quality image information and restoring (decoding) the same.
  • An object of the present invention is to provide a method and apparatus for configuring a file format that can be used by supporting High Efficiency Video Coding (HEVC).
  • HEVC High Efficiency Video Coding
  • An object of the present invention is to provide a method and apparatus for effectively configuring decoding setting recording in a file format.
  • An embodiment of the present invention provides a method of storing video information, the method comprising: encoding video information and storing a network abstraction layer (NAL) unit including the encoded video information in a decoder setting record, wherein the decoder setting In the record, NAL units may be stored for each type of NAL unit.
  • NAL network abstraction layer
  • Another embodiment of the present invention provides a method of parsing video information, the method comprising parsing a decoder setting record and parsing a NAL unit based on the parsed decoder setting record, wherein the decoder setting record includes: NAL units may be stored for each type.
  • Another embodiment of the present invention is a storage device for image information, comprising: an encoding unit for encoding image information, and a storage unit for storing a network abstracation layer (NAL) unit including the encoded image information in a decoder setting record.
  • NAL network abstracation layer
  • NAL units may be stored for each type of NAL unit.
  • Another embodiment of the present invention is a parsing apparatus for video information, comprising: a parsing unit parsing a decoder setting record and a decoding unit parsing a NAL unit based on the parsed decoder setting record, wherein the decoder setting record includes a NAL unit.
  • NAL units may be stored for each type of.
  • a large amount of high quality image information can be encoded, and information for effectively restoring (decoding) the data can be stored and transmitted.
  • a file format that can be used by supporting HEVC High Efficiency Video Coding
  • the present invention it is possible to effectively configure the decoding setting recording in the file format so that the information of the NAL unit can be confirmed at the system level.
  • FIG. 1 illustrates an example of a media file format according to the present invention.
  • FIG. 2 is a flowchart schematically illustrating a method of storing image information according to the present invention.
  • FIG. 3 is a flowchart schematically illustrating a method of parsing image information according to the present invention.
  • FIG. 4 is a block diagram schematically illustrating a configuration of an image information storage device according to the present invention.
  • FIG. 5 is a block diagram schematically illustrating a configuration of an image information parsing apparatus according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • file formats for processing conventional video information need to be modified or updated to process large / high definition video information.
  • a storage format for a video stream is problematic, which can effectively support the video encoding / decoding method that is being discussed to improve compression efficiency and image quality.
  • HEVC High Efficiency Video Coding
  • Storage of HEVC content may be extended by using a file format considering a parameter set used in HEVC in addition to the existing capacity of the ISO (International Organization for Standardization) based media file format.
  • ISO International Organization for Standardization
  • FIG. 1 illustrates an example of a media file format according to the present invention.
  • the media file format according to the present invention may be an extension of the ISO based media file format.
  • the file 100 supporting HEVC may include recursive boxes.
  • file 100 has an object-oriented structure that consists of a series of objects called boxes. All data is contained in boxes, and each box can be defined with a unique identifier and length.
  • the file 100 may include the FTYP 110, the MOOV 120, and the MDAT 130 at the top level.
  • the file 100 may include tracks corresponding to each sample.
  • the FTYP 110 is a file type and includes information about the file type. FTYP 110 is located at the beginning of file 100.
  • the MOOV 120 is a box containing header information of the file 100.
  • the MOOV 120 may include a decoder configuration record as decoder configuration information.
  • the HEVC visual sample entry may include an HEVC configuration box, which may include an HEVC decoder configuration record.
  • the MOOV 120 may include an HEVC visual sample entry or an HEVC configuration box.
  • the MOOV 120 may be an HEVC visual sample entry or an HEVC configuration box. Accordingly, in the example of FIG. 1, for convenience of description, the MOOV 120 will be described as including the HEVC decoder setting record 140.
  • the MDAT 130 includes payload data. Thus, for video files, coded data is delivered in this box. Referring to FIG. 1, MDAT 130 includes samples.
  • the sample may mean an access unit.
  • Sample X may be referred to as, for example, an X-th picture.
  • the above-described decoder setting record is a record regarding the initial setting of the decoder, and the decoder parses information corresponding to the setting.
  • the decoder setting record includes a network abstraction layer (NAL) unit to which each sample belongs and a size of a length field for indicating the length of the parameter set.
  • NAL network abstraction layer
  • the NAL unit has a syntax structure that includes an indicator of the type of data that follows, bytes containing data in the form of Raw Byte Sequence Payload (RSRP), if necessary, along with bytes that prevent contention, and the like. May be).
  • RSRP Raw Byte Sequence Payload
  • the decoder setting record may be externally framed. Thus, the file header and the payload of the file can be physically separated.
  • Parameter sets for supporting HEVC include a video parameter set, a sequence parameter set, a picture parameter set, and the like.
  • a slice that includes coded block data may refer to a picture parameter set that includes decoding parameters
  • the picture parameter set may refer to a sequence parameter set to refer to a sequence level parameter.
  • the sequence parameter set may likewise refer to a video parameter set to refer to a video level parameter.
  • the video stream can be represented by one video track in the file.
  • An elementary stream is an array or set of NAL units, and a video elementary stream and a video and parameter set elementary stream may be defined.
  • the video elementary stream does not contain a parameter set, and all parameter sets are included in the sample entry (s).
  • the video and parameter set elementary stream may include a parameter set and may include parameter sets included in the sample entry (s).
  • the parameter set used for the picture is transmitted before the sample containing the picture or the sample for the picture.
  • the sample entry when the video parameter set, the sequence parameter set and the picture parameter set can only be stored in the sample entry is called hvc1
  • the video parameter set, the sequence parameter set and the picture parameter set The sample entry in the case where can be stored in the sample entry and the samples may be referred to as hev1 to distinguish the two cases as necessary.
  • Table 1 shows an example of decoder setting recording used to support conventional video encoding / decoding.
  • AVC Advanced Video Coding
  • the decoder configuration record that supports AVC is called AVCDecoderConfigurationRecord.
  • the AVCDecoderConfigurationRecord includes information indicating a configuration version (configyrationVersion), information indicating a profile (AVCProfileIndication), information indicating profile compatibility (profile compatibility), and level indicating information (AVCLevelIdication).
  • the profile represents a subgroup among the coding techniques to which the decoder setting is applied, and the level represents the limitation accordingly.
  • the decoder setting record specifies the length (number of bits) allocated for each piece of information.
  • Table 2 shows an example of decoder setting recording supporting HEVC.
  • the decoder configuration record that supports HEVC is called HEVCDecoderConfigurationRecord.
  • HEVCDecoderConfigurationRecord includes information (configurationVersion) indicating the configuration version.
  • HEVCDecoderConfigurationRecord contains information about the subgroups of technologies / tools applicable in HEVC and the restrictions applied to the technologies / tools.
  • profileIndication is included as information indicating a profile
  • profileCompatibility is included as information indicating profile compatibility
  • LevelIdication is described as an example.
  • Profiles indicate the tools or algorithms available in HEVC.
  • a level indicates constraints on specific parameters of the bitstream.
  • the HEVCDecoderConfigurationRecord is a limitation / limitation or setting for HEVC, and may include information about a tier in addition to a profile and a level.
  • the tier indicates information about the maximum bit rate and the coded picture buffer (CPB) capacities (CPB capacities).
  • the bitstream does not have a different value from profile information and level information included in the decoder configuration record HEVCDecoderConfigurationRecord.
  • profile compatibility profileCompatibility indicates whether a coded video sequence (CVS) conforms to the profile.
  • HEVCDecoderConfigurationRecord includes information indicating a format for chroma components (chromaFormat), information indicating bit depths for luma components (bitDepthLumaMinus8), and information indicating bit depths for chroma components (bitDepthChromaMinus8).
  • chromaFormat includes information indicating a chroma format for the stream to which the corresponding decoder setting record is applied.
  • the chroma format for the video in the stream may be indicated by the chroma format indicator. For example, if the value of the chroma format indicator is 0, it is monochrome, and if it is 1, 4: 2: 0 sampling for three components of color difference (Y, Cr, Cb), and if it is 2, three components of color difference (Y, Cr, Cb) 4: 2: 2 sampling for), and 3 indicates 4: 4: 4 sampling for the three components of the color difference (Y, Cr, Cb).
  • bitDepthLumaMinus8 contains information specifying the bit depth of the luma sample array for the stream to which the corresponding decoder setting record is applied.
  • the bit depth of the luma quantization parameter range offset may be specified based on the information specifying the bit depth of the luma sample array.
  • bitDepthChromaMinus8 contains information specifying the bit depth of the chroma sample array for the stream to which the corresponding decoder setting record is applied.
  • the bit depth of the offset with respect to the range of the quantization parameter of the chroma sample may be specified based on the information specifying the bit depth of the chroma sample array.
  • HEVCDecoderConfigurationRecord contains information about the frame rate.
  • HEVCDecoderConfigurationRecord includes information indicating the average value of the frame rate (avgFrameRate), constant frame rate information (constantFrameRate) that sets the frame rate value so that the image is reproduced constantly, and information indicating the number of temporal layers (numTemporalLayers). It may include.
  • avgFrameRate informs the average frame rate for the stream to which the corresponding decoder setting record is applied.
  • AvgFrameRate with a value of 0 indicates an unspecified average frame rate.
  • constantFrameRate indicates whether the frame rate is constant for the stream to which the corresponding decoder setting record is applied. For example, a value of constantFrameRate of 0 indicates that the stream may or may not have a constant frame rate. A value of constantFrameRate of 1 indicates that the stream has a constant frame rate. If the value of constantFrameRate is 2, this indicates that the representation of each temporal layer of the stream has a constant frame rate.
  • numTemporalLayers contains information specifying the temporal layer coefficients of the stream to which the corresponding decoder setting record is applied. For example, a value of numTemporalLayers of 0 indicates that it is not known whether the stream is temporally scalable, and a value of numTemporalLayers of 1 indicates that the stream is not temporally scalable. If the value of numTemporalLayers is greater than 1, it may indicate that the stream is temporally scalable and includes the same number of time hierarchies as the value of numTemporalLayers.
  • the HEVCDecoderConfigurationRecord may include information lengthSizeMinusOne about the NAL unit length of HEVC video samples in the stream to which the corresponding decoder configuration record is applied.
  • lengthSizeMinusOne may indicate the length of a NALUnitLength field of a HEVC video sample in a stream in bytes.
  • the size of one bit may be indicated by the value 0 of lengthSizeMinusOne.
  • HEVCDecoderConfigurationRecord may include information about the number of NAL units.
  • the number of NAL units of a stream to which the corresponding decoder setting record is applied can be specified through numInitializationNalus.
  • the length of each NAL unit and NAL unit is specified by nalUnit and nalUnitLength.
  • the length of the NAL unit may be specified in byte units.
  • AVCDecoderConfigurationRecord information on chroma format among syntax elements, chroma_format, information about bit depth of luma sample bit_depth_luma_minus8, information about bit depth of chroma sample bit_depth_luma_minus8 is conditionally transmitted according to the profile information.
  • bit_depth_luma_minus8 are always signaled unconditionally in the HEVCDEcoderConfigurationRecord.
  • HEVCDecoderConfigurationRecord does not support the Sequence Parameter Set extension (SequenceParameterSetExt).
  • Non-Video Coding Layer (VCL) NAL units may be stored with the VCL NAL units in the payload, or may be stored in the decoder configuration record.
  • VCL NAL units may be stored in the decoder setting record, in the AVCDecoderConfigurationRecord, a Sequence Parameter Set (SPS) and a Picture Parameter Set (PPS) are signaled separately in different arrays.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplemental Enhancement Information
  • HEVCDecoderConfigurationRecord is different from AVCDecoderConfigurationRecord.
  • Table 3 shows only the signaling of the syntax elements constantFrameRate, numTemporalLayers, and lengthSizeMinusOne in Table 2.
  • 1 bit is allocated to constantFrameRate, 3 bits are allocated to numTemporalLayers, and 2 bits are allocated to lengthSizeMinusOne along with 2 bits of reserved bits.
  • one 8-bit string data includes 3 or more syntax elements.
  • Example 1-1 A method of applying 8 bit alignment signaling to all syntax elements.
  • all syntax elements signaled in the HEVCDecoderConfigurationRecord are arranged in 8 bit units.
  • padding bits may be used for syntax elements other than the size of 8 bits.
  • padding bits may be added before or after syntax elements for syntax elements of a size that is insufficient to be 8 bits or multiples of 8 bits. Reserved bits may be used as the padding bits.
  • Table 4 shows an example of the HEVCDecoderConfigurationRecord according to the embodiment 1-1.
  • parsing / transmission may be performed in units of 8 bits by one syntax element by adding a spare bit before the syntax element.
  • a value of constantFrameRate of 0 indicates that the stream may or may not have a constant frame rate.
  • a value of constantFrameRate of 1 indicates that the stream has a constant frame rate. If the value of constantFrameRate is 2, this indicates that the representation of each temporal layer of the stream has a constant frame rate.
  • parsing can be performed simply. You can simply parse syntax elements in 8-bit increments, which makes the parser simple to implement.
  • an 8-bit parser enables 1 pass / 1 cycle parsing. For example, if an 8-bit parser parses syntax elements in a conventional HEVCDecoderConfigurationRecord, an additional process is required to extract syntax elements constantFrameRate, numTemporalLayers, and lengthSizeMinusOne, but no additional process is required when applying Example 1-1. .
  • the reserved bits are added in front of the syntax element so that transmission / parsing is made in 8-bit units.
  • the present invention is not limited thereto, and the reserved bits are added after the syntax element in order to transmit / parse the corresponding syntax elements by 8 bits. It can also be
  • the syntax element may be transmitted / parsed in units of X bits.
  • the reserved bits may be added before or after the syntax element so that transmission / parsing is performed in units of 8 bits by one syntax element.
  • the syntax element is signaled in a compact form, and the use of spare bits is minimized.
  • the reserved bits can be used as a last resort to ensure that the entire HEVCDecoderConfigurationRecord length is byte aligned.
  • Table 5 shows an example of the HEVCDecoderConfigurationRecord according to the embodiment 1-2.
  • Spare bits are used to the minimum where necessary for single syntax elements to be transmitted / parsed in units of 8 bits.
  • the reserved bits may be added to the syntax element (s) lacking 8 bits to cause the syntax elements to be transmitted / parsed in units of 8 bits.
  • HEVCDecoderConfigurationRecord Using the HEVCDecoderConfigurationRecord according to embodiments 1-2 enables compact signaling and allows signaling with a smaller number of bits than using the conventional HEVCDecoderConfigurationRecord.
  • a method of signaling an initial NAL unit in the HEVCDecoderConfigurationRecord together with or separately from the adjustment of the syntax element according to the parsing / transmission unit described above is problematic.
  • AVCDecoderConfigurationRecord of Table 1 SPS, PPS, APS, and SEI messages are signaled in separate arrays.
  • VPS Video Parameter Set
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • an adaptively available APS (Adaptation Parameter Set) may be transmitted in the HEVCDecoderConfigurationRecord as necessary.
  • the HEVCDecoderConfigurationRecord is information for specifying the initial setting of the decoder, in the present specification, for convenience of description, the NAL unit transmitted in the HEVCDecoderConfigurationRecord is called an initial NAL unit.
  • the parser of HEVCDecoderConfigurationRecord must refer to the NAL unit header to know the type of initial NAL unit to parse.
  • the HEVCDecoderConfigurationRecord is configured so that information necessary for handling the HEVC file is available at the file format level.
  • the parser may determine the type of the NAL unit using only the information of the HEVCDecoderConfigurationRecord without referring to the information of the NAL unit header or lower level information.
  • any one of the following two embodiments may be used or the two methods may be mixed.
  • the type of the initial NAL unit can be determined by parsing the first byte of the header information of the initial NAL unit, as described above, information required for handling the HEVC file is used at the system level (eg, file format level). It can not be obtained by referring to the lower level information.
  • the type of the initial NAL unit is signaled in the HEVCDecoderConfigurationRecord.
  • the HEVCDecoderConfigurationRecord transmits information about the type and length of the initial NAL unit for each initial NAL unit, and then transmits the corresponding initial NAL unit.
  • Table 6 shows an example of the HEVCDecoderConfigurationRecord according to the embodiment 2-1.
  • initial NAL unit type indicator initializationNalUnitType specifies the type of the associated initial NAL unit.
  • initializationNalUnitType may indicate which type of the corresponding NAL unit is for each initial NAL unit.
  • Table 7 shows an example of a table used to correspond to the value of initializationNalUnitType and the initial NAL unit type according to the present invention when the initial NAL unit type transmitted in the HEVCDecoderConfigurationRecord is SPS, PPS, APS, or SEI.
  • Table 7 exemplifies a case where the initial NAL unit type transmitted in the HEVCDecoderConfigurationRecord is SPS, PPS, APS, or SEI
  • the present invention is not limited thereto.
  • APS which is an adaptively used parameter set, is not used, and transmission of a VPS may be required.
  • Table 8 shows an example of a table used to correspond to the value of initializationNalUnitType and the initial NAL unit type according to the present invention when the initial NAL unit type transmitted in the HEVCDecoderConfigurationRecord is SPS, PPS, VPS, or SEI.
  • the initial NAL unit type transmitted in the HEVCDecoderConfigurationRecord may be any one of ⁇ , SPS, PPS, APS, and SEI.
  • Table 9 shows an example of a table used to correspond to the value of initializationNalUnitType and the initial NAL unit type according to the present invention when the initial NAL unit type transmitted in the HEVCDecoderConfigurationRecord is VPS, SPS, PPS, APS, or SEI.
  • a picture parameter set is a syntax structure including a syntax element indicating parameter information applied to zero or more pictures.
  • the syntax element included in the PPS may be referenced when necessary by the syntax element of the slice segment header.
  • a Sequence Parameter Set is a syntax structure that includes syntax elements that indicate parameter information applied to zero or more coded video sequences.
  • the syntax element included in the SPS may be referenced as needed by the syntax element in the PPS.
  • a Video Parameter Set is a syntax structure that includes syntax elements that indicate parameter information applied to zero or more coded video sequences.
  • the syntax elements included in the VPS may be referenced as needed by the syntax elements in the SPS.
  • a Supplemental Enhancement Information (SEI) message is information added to a bitstream to effectively use video for various purposes.
  • one of the tables shown in Tables 7 to 9 may be used to indicate, at the system level, the type of the corresponding NAL unit for each NAL unit transmitted in the HEVCDecoderConfigurationRecord.
  • the receiver (system on the decoder side) may parse the initializationNalUnitType in the HEVCDecoderConfigurationRecord to determine the type of the corresponding NAL unit according to the value of the initializationNalUnitType.
  • nalUnitLength indicates the length of the initial NAL unit indicated by initializationNalUnitType.
  • nalUnit is the initial NAL unit indicated by initializationNalUnitType.
  • nalUnit can be any of SPS, PPS, APS, SEI.
  • nalUnit can be any one of VPS, SPS, PPS, SEI.
  • nalUnit may be any one of VPS, SPS, PPS, APS, SEI.
  • Table 10 shows an example of the HEVCDecoderConfigurationRecord according to the embodiment 2-1 when the information about the initial NAL unit transmitted in the HEVCDecoderConfigurationRecord is simply expressed using 'nalUnit' instead of 'initializationNalUnit'.
  • Table 6 and Table 10 indicate the NAL unit type for each initial NAL unit in the HEVCDecoderConfigurationRecord, the present invention is not limited thereto.
  • the HEVCDecoderConfigurationRecord may indicate the length of each initial NAL unit for each NAL unit type and transmit an initial NAL unit.
  • Table 11 shows another example of the HEVCDecoderConfigurationRecord according to the embodiment 2-1.
  • numOfNalUnitType indicates the number of NAL unit types indicated by HEVCDecoderConfigurationRecord
  • NAL_unit_type specifies a NAL unit type.
  • numNalus indicates the number of initial NAL units corresponding to the NAL unit type specified by NAL_unit_type.
  • each initial NAL unit belonging to the corresponding NAL unit type is sequentially indicated by the number of initial NAL units corresponding to the NAL unit type specified by NAL_unit_type, and the corresponding initial NAL unit is transmitted.
  • Tables 6, 10, and 11 illustrate the case where the initial NAL unit (s) corresponding to the NAL unit type (s) in the HEVCDecoderConfigurationRecord are in one NAL unit array, but the present invention is not limited thereto.
  • the invention is equally applicable to the case where the initial NAL units corresponding to the NAL unit type (s) are in one or more NAL unit arrays.
  • Table 12 shows another example of the HEVCDecoderConfigurationRecord according to the embodiment 2-1.
  • numArrays indicates an array number of initial NAL units of the type (s) indicated in the HEVCDecoderConfigurationRecord.
  • array_completeness indicates whether the initial NAL unit (s) corresponding to the corresponding initial NAL unit type in the HEVCDecoderConfigurationRecord are in one array (of NAL units). For example, an array_completeness value of 1 indicates that all NAL units of a given type are in the following array, and an array_completeness value of 0 indicates an initial NAL unit that is not in the next array of initial NAL units of a given type. Indicates that they exist in the stream.
  • numNalus indicates the number of initial NAL units of the corresponding NAL unit type in the HEVCDecoderConfigurationRecord for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • the NAL unit type and the number of initial NAL units corresponding to the corresponding NAL unit type are indicated for each array of the initial NAL unit.
  • the length of each initial NAL unit is indicated in order, as many as the number of initial NAL units corresponding to the corresponding NAL unit type, and the initial NAL unit is transmitted.
  • Example 2-2 the initial NAL unit is transmitted for each NAL unit type in the HEVCDecoderConfigurationRecord.
  • initial NAL units of different NAL unit types in the HEVCDecoderConfigurationRecord may be transmitted in different arrays for each NAL unit type.
  • the NAL unit corresponding to each parameter set / message is assigned to the initial NAL unit in a different array for each parameter set / message. Is sent. Accordingly, NAL units corresponding to the VPS may be collected and transmitted, initial NAL units corresponding to the SPS may be transmitted in other array (s), and initial NAL units corresponding to the PPS may be transmitted in another array (s).
  • the order of the arrays in the DecoderConfigurationRecord may be determined based on the expected number of initial units for each NAL unit type.
  • the array (s) signaling initial NAL units (SPS NAL units) whose NAL unit type is SPS may appear before the array (s) signaling other types of initial NAL units.
  • array (s) signaling initial NAL units (PPS NAL units) whose NAL unit type is PPS may be located.
  • array (s) signaling initial NAL units (SEI NAL units) whose NAL unit type is an SEI message can be located.
  • the array (s) signaling initial NAL units (APS NAL units) whose NAL unit type is APS may be located last.
  • the array (s) signaling initial NAL units (VPS NAL units) whose NAL unit type is VPS may be located first.
  • Table 13 shows an example of DecoderConfigurationRecord according to the embodiment 2-2.
  • numOfSequenceParameterSets indicates the number of SPSs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfSequenceParameterSets is 0, this indicates that there are no SPSs in the samples of the stream. If the value of numOfSequenceParameterSets is greater than 0, at least one SPS (eg, as many SPSs as the corresponding value) is included in the samples of the stream. Indicates that it is
  • sequenceParameterSetLength indicates the length of the SPS NAL units in bytes.
  • numOfPictureParameterSets indicates the number of PPS used for decoding the stream to which the corresponding decoder setting record is applied. If the value of numOfPictureParameterSets is 0, this indicates that there are no PPS in samples of the stream, and if the value of numOfPictureParameterSets is greater than 0, at least one PPS (eg, the same number of PPSs as that value) is included in the samples of the stream. Indicates that it is
  • pictureParameterSetLength indicates the length of the PPS NAL units in bytes.
  • numOfDeclarativeSEIs indicates the number of declarative SEIs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfDeclarativeSEIs is 0, this indicates that there are no contiguous SEIs in the samples of the stream, and if the value of numOfDeclarativeSEIs is greater than zero, then at least one declarative SEI (eg, the same number of contiguous SEIs as that value) is Indicates that it is included in the samples.
  • declarativeSeiLength indicates the length of SEI units in bytes.
  • numOfAdaptationParameterSets indicates the number of APSs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfAdaptationParameterSets is 0, it indicates that there are no APS in the samples of the stream, and if the value of numOfAdaptationParameterSets is greater than 0, it indicates that at least one APS is included in the samples of the stream.
  • adaptationParameterSetLength indicates the length of the APS NAL units in bytes.
  • the HEVCDecoderConfigurationRecord of the embodiment 2-2 may be signaled in the order of VPS, SPS, PPS, and declarative SEI.
  • Example 2-2 the order of signaling the parameter set signals all SPSs first, then all PPSs, then all declarative SEIs, and finally all APSs.
  • all SPSs can be signaled, all declarative SEIs are signaled, and then all PPSs are signaled, and finally, all APSs can be signaled.
  • Table 14 shows an example of DecoderConfigurationRecord according to the embodiment 2-3.
  • numOfSequenceParameterSets indicates the number of SPSs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfSequenceParameterSets is 0, this indicates that there are no SPSs in the samples of the stream. If the value of numOfSequenceParameterSets is greater than 0, at least one SPS (eg, as many SPSs as the corresponding value) is included in the samples of the stream. Indicates that it is
  • sequenceParameterSetLength indicates the length of the SPS NAL units in bytes.
  • numOfDeclarativeSEIs indicates the number of declarative SEIs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfDeclarativeSEIs is 0, this indicates that there are no contiguous SEIs in the samples of the stream, and if the value of numOfDeclarativeSEIs is greater than zero, then at least one declarative SEI (eg, the same number of contiguous SEIs as that value) is Indicates that it is included in the samples.
  • declarativeSeiLength indicates the length of SEI units in bytes.
  • numOfPictureParameterSets indicates the number of PPS used for decoding the stream to which the corresponding decoder setting record is applied. If the value of numOfPictureParameterSets is 0, this indicates that there are no PPS in samples of the stream, and if the value of numOfPictureParameterSets is greater than 0, at least one PPS (eg, the same number of PPSs as that value) is included in the samples of the stream. Indicates that it is
  • pictureParameterSetLength indicates the length of the PPS NAL units in bytes.
  • numOfAdaptationParameterSets indicates the number of APSs used to decode the stream to which the corresponding decoder setting record is applied. If the value of numOfAdaptationParameterSets is 0, it indicates that there are no APS in the samples of the stream, and if the value of numOfAdaptationParameterSets is greater than 0, it indicates that at least one APS is included in the samples of the stream.
  • adaptationParameterSetLength indicates the length of the APS NAL units in bytes.
  • the HEVCDecoderConfigurationRecord of the embodiment 2-3 may be signaled in the order of VPS, SPS, declarative SEI, and PPS.
  • each type of NAL units in this embodiment may be signaled in different arrays (may be signaled in separate arrays).
  • NAL units of each NAL unit type may be signaled in an array.
  • NAL unit types eg, VPS, SPS, PPS, SEI, APS, etc.
  • VPS voltage-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-envelope-to-etylene containing a different array (s) than NAL units belonging to another NAL unit type.
  • information indicating the type and number of NAL units is first signaled.
  • information indicating the type and number of NAL units may be signaled before the array for each type of NAL units.
  • the order of the array in the HEVCDecoderConfigurationRecord may be determined based on the number of NAL units for each NAL unit type or based on what is the NAL unit type for the array.
  • an array for signaling an SPS NAL unit may appear before the array for other NAL unit types. Then, an array for signaling the PPS NAL unit may then appear, followed by an array for signaling the APS NAL unit last after the array for signaling the declarative SEI NAL unit.
  • the order of appearance of the SPS NAL unit-> PPS NAL unit-> SEI NAL unit-> APS NAL unit may be predetermined in consideration of the number or reference relationship of NAL units belonging to each NAL unit type.
  • an array for signaling a VPS NAL unit may appear before the array for other NAL unit types. Then, an array for signaling the SPS NAL unit may appear next, followed by an array for signaling the SEI NAL unit after the array for signaling the declarative PPS NAL unit.
  • Table 15 briefly illustrates an example of the HEVCDecoderConfigurationRecord according to the embodiment 2-4.
  • ProfileIndication includes a profile code (profile_idc) for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • profile_idc a profile code for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • profile_idc a profile code for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • profile_idc can be used instead of ProfileIndication.
  • the profile code may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, the profile code can be defined in ISO / IEC # 23008-HEVC.
  • profileCompatibility is a byte defined in the same manner as a byte generated between a profile code (profile_idc) and a level code (level_idc) in a Sequence Parameter Set (SPS) for a stream to which the HEVCDecoderConfigurationRecord is applied.
  • the profile code and the level code can be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, level codes and profile codes can be defined in ISO / IEC # 23008-HEVC.
  • LevelIndication includes a level code (level_idc).
  • Table 15 uses LevelIndication, but you can just use level_idc instead of LevelIndication.
  • the level code may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, the level code can be defined in ISO / IEC # 23008-HEVC.
  • profile_idc may indicate the current Coded Video Sequence (CVS), and level_idc may follow the current CVS. It can indicate a level that is present, that is, a level below a certain level.
  • CVS Coded Video Sequence
  • chromaFormat includes a chroma format indicator indicated by the chroma_format_idc parameter for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • chroma_format_idc may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, chroma_format_idc may be defined in ISO / IEC # 23008-HEVC.
  • bitDepthLumaMinus8 includes a luma bit depth indicator indicated by the bit_depth_luma_minus8 parameter for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • bit_depth_luma_minus8 may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, bit_depth_luma_minus8 may be defined in ISO / IEC # 23008-HEVC.
  • bitDepthChromaMinus8 includes a chroma bit depth indicator indicated by the bit_depth_chroma_minus8 parameter for the stream to which the HEVCDecoderConfigurationRecord is applied.
  • bit_depth_chroma_minus8 may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, bit_depth_chroma_minus8 may be defined in ISO / IEC # 23008-HEVC.
  • avgFrameRate informs the average frame rate in units of frames for the stream to which the HEVCDecoderConfigurationRecord is applied. If the value of avgFrameRate is 0, it indicates that the average frame rate is not specified. That is, avgFrameRate having a value of 0 indicates an unspecified average frame rate.
  • constantFrameRate If the value of constantFrameRate is 1, this indicates that the stream to which the HEVCDecoderConfigurationRecord is applied has a constant frame rate. If the value of constantFrameRate is 2, this indicates that the representation of each temporal layer of the stream has a constant frame rate. If the value of constantFrameRate is 0, it indicates that the stream may or may not be of constant frame rate.
  • numTemporalLayers If the value of numTemporalLayers is greater than 1, this indicates that the stream to which the HEVCDecoderConfigurationRecord is applied is temporally scalable and includes the same number of layers as the value of numTemporalLayers. A value of numTemporalLayers of 1 indicates that the stream is not scalable in time. A value of 0 for numTemporalLayers indicates that the stream is not temporally scalable.
  • lengthSizeMinusOne +1 indicates the length in bytes of the NALUnitLength field in the HEVC video sample in the stream to which the HEVCDecoderConfigurationRecord is applied.
  • the size of one byte may be indicated by lengthSizeMinusOne having a value of zero.
  • the value of this field may have any one of 0, 1 or 3 corresponding to the length coded by 1, 2 or 4 bytes, respectively.
  • numOfInitParameterGroups corresponds to the number of NAL unit types present in HEVCDecoderConfigurationRecord.
  • the parameter type corresponds to the NAL unit type.
  • the VPS may correspond to NAL unit type 0
  • the SPS may correspond to NAL unit type 1
  • the PPS may correspond to NAL unit type 2.
  • initializationNalUnitType specifies the associated initial NAL unit type. Examples of the NAL unit types specified in this embodiment are shown in Table 7, Table 8 or Table 9.
  • NAL unit types may appear in a predetermined order. For example, when the NAL unit type shown in Table 7 is used, it may appear in the HEVCDecoderConfigurationRecord in the order of SPS, PPS, SEI, and APS. When the NAL unit types shown in Table 8 are used, they may appear in the HEVCDecoderConfigurationRecord in the order of VPS, SPS, PPS, and SEI. In addition, when the NAL unit type shown in Table 9 is used, it may appear in the HEVCDecoderConfigurationRecord in the order of VPS, SPS, PPS, SEI, and APS.
  • numInitializationNalus may indicate the number of NAL units for each NAL unit type included in a configuration record for a stream to which the HEVCDecoderConfigurationRecord is applied.
  • numInitializationNalus may indicate the number of VPS NAL units, the number of SPS NAL units, the number of PPS NAL units, the number of (declarative) SEI NAL units, and / or the number of APS NAL units.
  • the declarative SEI NAL unit contains an SEI message of 'declarative' nature, that is, an SEI message that provides information about the stream as a whole.
  • An example of such an SEI is a user-data SEI. If the value is zero, samples of the stream include at least one SPS and one PPS.
  • nalUnitLength indicates the length of the NAL unit in bytes.
  • nalUnit contains a VPS, SPS, PPS, APS or declarative SEI NAL unit. That is, in Table 15, nalUnit includes NAL units belonging to a NAL unit type specified in initializationNalUnitType.
  • a VPS, SPS, PPS, APS or declarative SEI NAL unit may be defined in the context defining the HEVC description or in the context for interpreting the HEVC description. For example, VPS, SPS, PPS, APS or declarative SEI NAL units may be defined in ISO / IEC # 23008-HEVC.
  • parameter groups of numOfInitParameterGroups correspond to NAL unit types as described in Tables 7-9. Therefore, in the HEVCDecoderConfigurationRecord, the NAL unit type is indicated for each NAL unit type (initializationNalUnitType), and the number of NAL units belonging to the corresponding NAL unit type is indicated (numInitializationNalus). Then, for NAL units belonging to the corresponding NAL unit type, the length of the NAL unit is indicated (nalUnitLength) and the NAL unit is stored (nalUnit).
  • Bits allocated to nalUnit may be allocated in units of 8 bits based on the length of the NAL unit. At this time, it may be based on the length of the NAL unit of the specific NAL unit type, or may be based on the length of the NAL unit to store. In the example of Table 15, a case in which 8-bit bit allocation is performed based on the length of a sequence parameter (sequenceParameterSetLength) is described.
  • Table 16 shows another example of the HEVCDecoderConfigurationRecord according to the embodiment 2-4 when the information about the initial NAL unit transmitted in the HEVCDecoderConfigurationRecord is simply expressed using 'nalUnit' instead of 'initializationNalUnit'.
  • bits allocated to nalUnit are allocated based on the length (nalUnitLength) of the corresponding NAL unit.
  • the NAL unit is included in the DecoderConfigurationRecord and transmitted. This is for convenience of description and the present invention is not limited thereto.
  • the NAL unit may be stored in the DecoderConfigurationRecord and transmitted over the network.
  • the NAL unit may be stored in the DecoderConfigurationRecord, and the DecoderConfigurationRecord may be stored in the storage medium and transmitted.
  • Receiving a stream including DecoderConfigurationRecord or DecoderConfigurationRecord in the present specification may mean receiving a stream including DecoderConfigurationRecord or DecoderConfigurationRecord over a network, and means that a stream including DecoderConfigurationRecord or DecoderConfigurationRecord is obtained from a storage medium or the like. It may be.
  • the embodiments of the second embodiment that is, the embodiments 2-1, 2-2, 2-3, and 2-4 may be applied as separate methods as described above, Examples of features may be practiced together.
  • a multi-layered structure may be applied to a single NAL unit type.
  • the number of arrays of NAL units for the initial NAL unit type (s) indicated through the HEVCDecoderConfigurationRecord may be indicated.
  • the HEVCDecoderConfigurationRecord indicates that the initial NAL unit (s) corresponding to a particular initial NAL unit type are in one array (of NAL units). For example, as in the example of Table 12, if the value of array_completeness is 1, it indicates that all NAL units of the given type are in the following array. If the value of array_completeness is 0, the next array among the initial NAL units of the given type is given. It can indicate that initial NAL units that are not in are present in the stream.
  • the type of the initial NAL unit and the number of NAL units belonging to the initial NAL unit type may be indicated for each array of the initial NAL unit.
  • the length of each initial NAL unit may be indicated in order as many as the number of initial NAL units corresponding to the corresponding NAL unit type, and the initial NAL unit may be transmitted (stored).
  • the image information may be information corresponding to part or all of the media file format described with reference to FIG. 1 and includes decoder configuration information (DecorderConfigurationRecord).
  • the image information storage device will be described as performing each step of FIG. 2.
  • the image information storage device may encode image information (S210).
  • the image information storage device may encode image content based on HEVC.
  • the image information storage device may generate a NAL unit including encoded image content and information necessary for decoding.
  • the image information storage device may store the NAL unit in the decoder setting record (S220).
  • the decoder setting record may include information indicating the type of NAL unit to be stored.
  • the type of the NAL unit may be VPS, SPS, PPS, SEI, or the like.
  • the decoder configuration record may be a HEVCDecoderConfigurationRecord.
  • the decoder setting recording can be parsed in predetermined predetermined bit units, when the syntax elements are not 8 bit units, the video information storage device adds spare bits so that the reserved bits and the bits allocated to the syntax elements are 8 It can also be configured to be a multiple of bits or 8 bits.
  • NAL units may be stored for each type of NAL unit.
  • the type of the NAL unit may correspond to a parameter set stored in the NAL unit.
  • the decoder setting record may store information indicating the number of NAL units belonging to each NAL unit type for each type of NAL unit.
  • the NAL unit types shown in the decoder setting record may have a certain order.
  • NAL units of which the NAL unit type is VPS may be stored so that they appear earlier (or parsed first) in the decoder setting record than NAL units whose NAL unit type is SPS.
  • NAL units with an NAL unit type of SPS may be stored so that they appear earlier in the decoder setting record (or can be parsed earlier) than NAL units with an NAL unit type of PPS.
  • NAL units of which the NAL unit type is PPS may be stored so that they appear earlier in the decoder configuration record (or can be parsed first) than NAL units whose NAL unit type is SEI.
  • the decoder setting recording may include information indicating the length of the NAL unit together with information indicating the type of the NAL unit together with the corresponding NAL unit.
  • NAL units may be stored for each type of NAL unit, as described above, wherein bits allocated for storing the NAL unit may be allocated in units of multiples of 8 bits.
  • the bits allocated for storing the NAL unit may be allocated based on the length of the NAL unit.
  • the NAL unit may be stored using a bit allocated as a multiple of the length of the storage target NAL unit.
  • the NAL unit may be stored using a bit allocated in units of multiples of the length of the NAL unit corresponding to the specific NAL unit type.
  • the bits allocated for storing the NAL unit may be multiples of 8 bits and multiples of the length of the NAL unit.
  • the image information may be information corresponding to part or all of the media file format described with reference to FIG. 1 and includes decoder configuration information (DecorderConfigurationRecord).
  • the image information parsing apparatus is described as performing each step of FIG. 3.
  • the image information parsing apparatus may parse the decoder setting record (S310).
  • the decoder setting record is information belonging to a file format, and parsing may be performed at the system level.
  • the image information parsing apparatus may obtain information about a profile, level, format, bit depth, etc. of the corresponding image information.
  • the image information parsing apparatus may obtain information about the length and type of the NAL unit included in the decoder setting record.
  • the video information parsing apparatus may obtain the information indicating the type of the NAL unit by parsing the decoder setting recording. Accordingly, the image information parsing apparatus may determine what type of NAL unit is included in the decoder setting record at the system level, and perform parsing accordingly.
  • Parsing may mean acquiring specific values of syntax elements and / or data (information). Parsing of the decoder setting recording may be performed in predetermined bit units. For example, if the parser for parsing in the image information parsing apparatus is an 8-bit parser, parsing may be performed in units of 8 bits.
  • the decoder setting recording is as described above with reference to FIG. 1 and the tables.
  • the decoder setting recording may include information indicating the length of the NAL unit together with information indicating the type of the NAL unit together with the corresponding NAL unit.
  • the decoder setting record may store NAL units for each type of NAL unit.
  • the type of the NAL unit may correspond to a parameter set stored in the NAL unit.
  • the decoder setting record may store information indicating the number of NAL units belonging to each NAL unit type for each NAL unit type.
  • the NAL unit types shown in the decoder setting record may have a certain order.
  • NAL units with a NAL unit type of VPS may be stored so that they appear earlier (or can be parsed earlier) in the decoder configuration record than NAL units with a NAL unit type of SPS.
  • NAL units with an NAL unit type of SPS may be stored so that they appear earlier in the decoder setting record (or can be parsed earlier) than NAL units with an NAL unit type of PPS.
  • NAL units of which the NAL unit type is PPS may be stored so that they appear earlier (or parsed earlier) in the decoder configuration record than NAL units whose NAL unit type is SEI.
  • the decoder setting recording may include information indicating the length of the NAL unit together with information indicating the type of the NAL unit together with the corresponding NAL unit.
  • NAL units may be stored for each type of NAL unit, as described above. In this case, bits allocated for storing the NAL unit may be allocated in multiples of 8 bits. Therefore, parsing may be performed in units of 8 bits or multiples of 8 bits to parse the NAL unit.
  • the bits allocated for storing the NAL unit may be allocated based on the length of the NAL unit.
  • the NAL unit may be stored using a bit allocated as a multiple of the length of the storage target NAL unit.
  • the NAL unit may be stored using a bit allocated in units of multiples of the length of the NAL unit corresponding to the specific NAL unit type.
  • parsing may be performed in multiples of the length of the NAL unit to parse the NAL unit.
  • the bit allocated for storing the NAL unit may be a multiple of 8 bits and a multiple of the length of the NAL unit.
  • parsing may be performed by the number of bits that are multiples of 8 bits and multiples of the length of the NAL unit.
  • the information stored in the decoder setting record can be parsed in order based on the stored order.
  • the image information parsing apparatus may decode the image information based on the parsed decoder setting record (S320).
  • the image information parsing apparatus processes information corresponding to the decoder setting record based on the parsed decoder setting record, and may not process or recognize information that does not match the decoder setting record.
  • decoding includes parsing and reconstruction of image information.
  • the restoration of the image information may be performed in the image information parsing apparatus, or may be performed in a separate decoder based on a result of parsing performed in the image information parsing apparatus.
  • the image information parsing apparatus may parse NAL units for each NAL unit type based on the parsed decoder setting record.
  • the NAL units may be parsed according to the type of the NAL unit for each array.
  • the NAL unit included in the decoder setting record may be an initial NAL unit as described above.
  • the image information may be information corresponding to part or all of the media file format described with reference to FIG. 1 and includes decoder configuration information (DecorderConfigurationRecord).
  • the image information storage device 400 includes an encoder 410 and a storage 420.
  • the encoder 410 may encode the input image information.
  • the encoder 410 may encode image information using a method that supports HEVC.
  • the encoding unit 410 may also generate a NAL unit including the encoded video content and information necessary for decoding.
  • the storage unit 420 may store the generated NAL unit in the decoder setting record.
  • the decoder setting record may include information indicating the type of NAL unit to be stored.
  • the type of the NAL unit may be VPS, SPS, PPS, SEI, or the like. Details of the decoder setting recording are as described above.
  • the image information may be information corresponding to part or all of the media file format described with reference to FIG. 1 and includes decoder configuration information (DecorderConfigurationRecord).
  • the image information parsing apparatus 500 includes a parser 510 and a decoder 520.
  • the parser 510 may parse the decoder setting record in the file format.
  • the parser 510 may parse the decoder setting record at the system level.
  • the decoder setting record includes a NAL unit and also includes information indicating the type of the corresponding NAL unit.
  • the parsing unit 510 may parse the decoder setting record and acquire information on a profile, level, format, bit depth, etc. of the corresponding video information. In addition, the parser 510 may obtain information about the length and type of the NAL unit included in the decoder setting record.
  • the decoder setting recording is the same as described above.
  • the decoder 520 may decode the image information based on the decoder setting record.
  • the decoding unit 520 processes information corresponding to the decoder setting record based on the parsed decoder setting record, and may not process or recognize information that does not match the decoder setting record.
  • decoding includes parsing and reconstruction of image information.
  • the restoration of the image information may be performed by the decoding unit 520 of the image information parsing apparatus 500, and may be different from the image information parsing apparatus 500 based on the parsing result performed by the image information parsing apparatus 500. It may be performed in a separate decoder.
  • HEVCDecoderConfigurationRecord is information specifying the initial setting of the decoder
  • the NAL unit transmitted in the HEVCDecoderConfigurationRecord is called an initial NAL unit, but for convenience of description, two expressions of 'initial NAL unit' and 'NAL unit' are mixed. Note that

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 정보 저장 방법 및 영상 정보 파싱 방법과 이를 이용하는 장치에 관한 것으로서, 본 발명에 따른 영상 정보 저장 방법은 영상 정보를 인코딩 하는 단계 및 인코딩된 영상 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 디코더 설정 기록에 저장하는 단계를 포함하며, 상기 디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장될 수 있다.

Description

영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
본 발명은 영상 압축에 관한 기술로서, 더 구체적으로는 압축된 영상 정보의 파일 포맷에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
예컨대, 영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
비디오 정보를 압축 처리하고 재생하는 인코딩 장치와 디코딩 장치에서는 상술한 바와 같이 다양한 방법으로 대용량의 비디오 정보를 압축하여 처리한다.
하지만, 비디오 정보가 압축 처리된다고 하더라도, 상술한 바와 같이 고품질 영상에 대한 요구가 높아짐에 따라서, 처리되는 영상 정보의 양이 크게 증가하고 있으며, 압축된 영상 정보의 양도 종래에 비해 증가할 것으로 예상된다.
따라서, 고해상도의 대용량 비디오 정보들을 처리하기 위해, 비디오 정보 파일과 이를 처리하기 위한 정보를 포함하는 파일들의 포맷(format)을 어떻게 규정하여, 효과적으로 미디어들이 처리되도록 할 것인지가 문제된다.
본 발명은 대용량 고품질의 영상 정보를 인코딩하고, 이를 복원(디코딩)하기 위한 정보를 효과적으로 저장하여 전달하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에서는 HEVC(High Efficiency Video Coding)를 지원하여 이용할 수 있는 파일 포맷을 구성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에서는 파일 포맷 내 디코딩 설정 기록을 효과적으로 구성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 영상 정보의 저장 방법으로서, 영상 정보를 인코딩 하는 단계 및 인코딩된 영상 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 디코더 설정 기록에 저장하는 단계를 포함하며, 상기 디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장될 수 있다.
본 발명의 다른 실시형태는 영상 정보의 파싱 방법으로서, 디코더 설정 기록을 파싱하는 단계 및 상기 파싱된 디코더 설정 기록을 기반으로, NAL 유닛을 파싱하는 단계를 포함하며, 상기 디코더설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되어 있을 수 있다.
본 발명의 또 다른 실시형태는 영상 정보의 저장 장치로서, 영상 정보를 인코딩 하는 인코딩부 및 인코딩된 영상 정보를 포함하는 NAL(network Abstracation Layer) 유닛을 디코더 설정 기록에 저장하는 저장부를 포함하며, 상기 디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장될 수 있다.
본 발명의 또 다른 실시형태는 영상 정보의 파싱 장치로서, 디코더 설정 기록을 파싱하는 파싱부 및 상기 파싱된 디코더 설정 기록을 기반으로 NAL 유닛을 파싱하는 디코딩부를 포함하며, 상기 디코더설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되어 있을 수 있다.
본 발명에 의하면, 대용량 고품질의 영상 정보를 인코딩하고, 이를 복원(디코딩)하기 위한 정보를 효과적으로 저장하여 전달할 수 있다.
본 발명에 의하면, HEVC(High Efficiency Video Coding)를 지원하여 이용할 수 있는 파일 포맷을 구성할 수 있다.
본 발명에 의하면, NAL 유닛의 정보를 시스템 레벨에서 확일할 수 있도록 파일 포맷 내 디코딩 설정 기록을 효과적으로 구성할 수 있다.
도 1은 본 발명에 따른 미디어 파일 포맷의 일 예를 나타낸 것이다.
도 2는 본 발명에 따라서 영상 정보를 저장하는 방법을 개략적으로 설명하는 순서도이다.
도 3은 본 발명에 따라서 영상 정보를 파싱하는 방법을 개략적으로 설명하는 순서도이다.
도 4는 본 발명에 따른 영상 정보 저장 장치의 구성을 개략적으로 설명하는 블록도이다.
도 5는 본 발명에 따른 영상 정보 파싱 장치의 구성을 개략적으로 설명하는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
최근 고해상도, 고용량의 비디오 정보를 처리하는 방법에 관한 논의가 이어지고 있으며, 이를 반영한 표준의 제정도 논의되고 있다. 이와 관련하여, 고용량, 고해상도의 비디오를 처리하는 방법에 대응하여, 어떤 포맷의 파일들을 이용할 것인지를 고려할 필요가 있다.
따라서, 종래의 비디오 정보를 처리하기 위한 파일 포맷들이, 대용량/고화질의 비디오 정보를 처리하기 위해 수정 또는 갱신될 필요가 있다.
상술한 바와 같이, 고화질/고용량에 대한 비디오 코딩/디코딩 방법에 관한 논의와 표준 제정 시도가 진행되고 있다. 이 과정에서 코딩 효율을 높이고 강건성(robustness)을 향상시키는 방법 외에도 시스템에서 사용할 여러 특징들이 논의되고 있다.
이와 관련하여, 압축 효율과 영상의 품질을 높이기 위해 논의되고 있는 비디오 인코딩/디코딩 방법을 효과적으로 지원할 수 있는, 비디오 스트림에 대한 저장 포맷이 문제된다.
고품질/대용량의 비디오 콘텐츠에 대하여 기존의 ISO 기반 미디어 파일 포맷이 이용될 수 있지만, 파라미터 세트의 구성을 고려하면 수정이 필요할 수 있다.
이하, 본 발명에 따른 디코더 설정 기록(decoder configuration record)과 디코더 설정 기록에 기반한 비디오 정보 및 파일 포맷에 관해 구체적으로 설명한다.
본 명세서에서는 대용량 고품질의 비디오 코딩 방법을 설명의 편의를 위해 HEVC(High Efficiency Video Coding)라고 하며, HEVC를 적용하여 처리하는 대용량 고품질의 콘텐츠(contents)를 HEVC 콘텐츠라고 한다.
HEVC 콘텐츠의 저장(storage)에는 ISO(the International Organization for Standardization) 기반 미디어 파일 포맷의 기존 용량에 HEVC에 이용되는 파라미터 세트(parameter set)를 고려한 파일 포맷을 추가적으로 확장하여 이용할 수 있다.
도 1은 본 발명에 따른 미디어 파일 포맷의 일 예를 나타낸 것이다.
상술한 바와 같이, 본 발명에 따른 미디어 파일 포맷은 ISO 기반 미디어 파일 포맷의 확장일 수 있다.
HEVC를 지원하는 파일(100)은 재귀적인 박스들을 포함할 수 있다. 예컨대, 파일(100)은 박스라고 불리는 객체들의 시리즈로 구성되는 객체 지향적 구조를 가진다. 모든 데이터들은 박스에 포함되며(containing), 각 박스들은 고유의 식별자와 길이로 정의될 수 있다.
도 1을 참조하면, 파일(100)은 최상위 단 레벨(top level)에서 FTYP(110), MOOV(120), MDAT(130)을 포함할 수 있다. 또한, 파일(100)은 도시되지 않았으나, 각 샘플에 대응하는 트랙들을 포함할 수 있다.
FTYP(110)는 파일 타입(File Type)으로서, 파일 타입에 관한 정보를 포함한다. FTYP(110)는 파일(100)의 시작(beginning)에 위치한다.
MOOV(120)는 파일(100)의 헤더 정보들을 포함하는 박스이다. MOOV(120)는 디코더 설정 정보(Decoder Configuration Information)로서 디코더 설정 기록(Decoder Configuration Record)을 포함할 수 있다. 예컨대, HEVC 비주얼 샘플 엔트리는 HEVC 설정 박스를 포함하며, HEVC 설정 박스는 HEVC 디코더 설정 기록을 포함할 수 있다.
이때, MOOV(120)는 HEVC 비주얼 샘플 엔트리 혹은 HEVC 설정 박스를 포함할 수 있다. 또한, MOOV(120)가 HEVC 비주얼 샘플 엔트리 혹은 HEVC 설정 박스일 수도 있다. 따라서, 도 1의 예에서는 설명의 편의를 위해, MOOV(120)이 HEVC 디코더 설정 기록(140)을 포함하는 것으로 설명한다.
MDAT(130)는 페이로드(payload) 데이터를 포함하다. 따라서, 비디오 파일에 대하여, 코딩된 데이터는 이 박스에서 전달된다. 도 1을 참조하면, MDAT(130)는 샘플들을 포함한다.
샘플은 액세스 유닛(Access Unit)을 의미할 수 있다. 샘플 X는, 예컨대, X 번째 픽처라고 할 수 있다.
한편, 상술한 디코더 설정 기록은 디코더의 초기 설정에 관한 기록으로서, 디코더는 해당 설정에 대응하는 정보를 파싱하게 된다.
디코더 설정 기록이 샘플 엔트리에 포함되는 경우에, 디코더 설정 기록은 각 샘플이 속하는 NAL(Network Abstraction Layer) 유닛과 파라미터 세트의 길이를 지시하기 위한 길이 필드(length field)의 사이즈를 포함한다.
NAL 유닛은 이어지는 데이터의 타입에 대한 지시자, 경쟁을 방지하는 바이트와 함께 필요한 경우에 배치되는 RSRP(Raw Byte Sequence Payload) 형태의 데이터를 포함하는 바이트들(bytes) 등을 포함하는 신택스 스트럭처(syntax structure)일 수 있다.
디코더 설정 기록은 외부에서 프레임(externally framed)될 수 있다. 따라서, 파일 헤더와 파일의 페이로드는 물리적으로 구분될 수 있다.
HEVC를 지원하기 위한 파라미터 세트로는 비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트 등이 있다.
비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트를 이용함으로써 자주 변하지 않는 정보의 전송은 서로 결합되지 않는다(decoupled). 예컨대, 코딩된 블록 데이터를 포함하는 슬라이스가 디코딩 파라미터들을 포함하는 픽처 파라미터 세트를 참조할 수 있고, 픽처 파라미터 세트는 시퀀스 레벨의 파라미터를 참조하기 위해 시퀀스 파라미터 세트를 참조할 수 있다. 시퀀스 파라미터 세트는 마찬가지로, 비디오 레벨의 파라미터를 참조하기 위해 비디오 파라미터 세트를 참조할 수 있다.
비디오 스트림은 파일 내의 한 비디오 트랙에 의해 표현(represent)될 수 있다.
기본 스트림(elementary stream)은 NAL 유닛의 어레이 혹은 집합으로서, 비디오 기본 스트림(video elementary stream)과 비디오 및 파라미터 세트 기본 스트림(video and parameter set elementary stream)이 정의될 수 있다.
비디오 기본 스트림은 파라미터 세트를 포함하지 않으며, 모든 파라미터 세트는 샘플 엔트리(들)에 포함된다. 비디오 및 파라미터 세트 기본 스트림은 파라미터 세트를 포함할 수 있으며, 샘플 엔트리(들)에 포함된 파라미터 세트들을 포함할 수도 있다.
픽처에 사용되는 파라미터 세트는 픽처를 포함하는 샘플 또는 픽처에 대한 샘플보다 먼저 전송된다. 특정 샘플 엔트리가 적용되는 비디오 스트림에 대하여, 비디오 파라미터 세트, 시퀀스 파라미터 세트 그리고 픽처 파라미터 세트가 샘플 엔트리에만 저장될 수 있는 경우의 샘플 엔트리를 hvc1라고 하고, 비디오 파라미터 세트, 시퀀스 파라미터 세트 그리고 픽처 파라미터 세트가 샘플 엔트리와 샘플들에 저장될 수 있는 경우의 샘플 엔트리를 hev1이라고 하여 필요에 따라 두 경우를 구별할 수도 있다.
상술한 바와 같이, HEVC를 지원하기 위해, 파일 포맷의 수정이 필요하며, 특히 디코더의 초기 설정에 관한 디코더 설정 기록에 관한 수정이 필요하다.
표 1은 종래의 비디오 인코딩/디코딩을 지원하기 위해 사용하는 디코더 설정 기록의 일 예를 나타낸 것이다. 본 명세서에서는 HEVC와 구별하기 위해, 종래의 비디오 인코딩/디코딩 방법을 AVC(Advanced Video Coding)라고 한다.
<표 1>
Figure PCTKR2013003869-appb-I000001
AVC를 지원하는 디코더 설정 기록을 AVCDecoderConfigurationRecord라고 한다.
표 1을 참조하면, AVCDecoderConfigurationRecord는 설정 버전을 지시하는 정보(configyrationVersion), 프로파일을 지시하는 정보(AVCProfileIndication), 프로파일의 호환성을 나타내는 정보(profile compatibility), 레벨을 지시하는 정보(AVCLevelIdication)를 포함한다.
프로파일은 코딩 기술들 중에서 디코더 설정이 적용되는 서브 그룹을 나타내며, 레벨은 그에 따른 제한 사항을 나타낸다.
디코더 설정 기록에는 각 정보에 대하여 할당된 길이(비트 수)가 특정된다.
표 2는 HEVC를 지원하는 디코더 설정 기록의 일 예를 나타낸 것이다. 설명의 편의를 위해, HEVC를 지원하는 디코더 설정 기록을 HEVCDecoderConfigurationRecord라 한다.
<표 2>
Figure PCTKR2013003869-appb-I000002
표 2를 참조하면, HEVCDecoderConfigurationRecord는 설정 버전을 지시하는 정보(configyrationVersion)를 포함한다.
HEVCDecoderConfigurationRecord는 HEVC에서 적용 가능한 기술/툴(tool)의 서브 그룹과 기술/툴에 적용되는 제한에 관한 정보를 포함한다. 표 2에서는, 프로파일을 지시하는 정보로서 profileIndication, 프로파일의 호환성을 나타내는 정보로서 profileCompatibility, 레벨을 지시하는 정보로서 LevelIdication를 포함하는 경우를 예로서 설명하고 있다.
프로파일(profile)은 HEVC 중에서 이용 가능한 툴(tool)이나 알고리즘을 지시한다. 레벨(level)은 비트스트림의 특정 파라미터들에 대한 한정 사항(constraints)을 지시한다.
표 2에서는 나타내지 않았으나, HEVCDecoderConfigurationRecord는 HEVC에 대한 제한/한정 혹은 설정 사항으로서, 프로파일과 레벨 외에 티어(tier)에 관한 정보를 포함할 수도 있다. 티어는 맥시멈 비트 레이트(maximum bit rate)와 CPB(Coded Picture Buffer) 용량(CPB capacities)에 관한 정보를 지시한다.
비트스트림은 디코더 설정 기록(HEVCDecoderConfigurationRecord)에 포함된 프로파일 정보, 레벨 정보와 상이한 값을 가지지 않는다.
프로파일의 호환성을 지시하는 정보 profileCompatibility는 코딩된 비디오 시퀀스(Coded Vided Sequence: CVS)가 프로파일에 부합하는지를 지시한다.
HEVCDecoderConfigurationRecord는 크로마 성분에 대한 포맷을 지시하는 정보(chromaFormat), 루마 성분에 대한 비트 뎁스를 지시하는 정보(bitDepthLumaMinus8), 크로마 성분에 대한 비트 뎁스를 지시하는 정보(bitDepthChromaMinus8)를 포함한다.
chromaFormat은 해당 디코더 설정 기록이 적용되는 스트림에 대한 크로마 포맷을 지시하는 정보를 포함한다. 스트림 내 비디오에 대한 크로마 코맷은 크로마 포맷 지시자에 의해 지시될 수 있다. 예컨대, 크로마 포맷 지시자의 값이 0이면, 모노크롬(monochrome), 1이면 색차의 세 성분(Y, Cr, Cb)에 대한 4:2:0 샘플링, 2이면 색차의 세 성분(Y, Cr, Cb)에 대한 4:2:2 샘플링, 3이면 색차의 세 성분(Y, Cr, Cb)에 대한 4:4:4 샘플링을 지시할 수 있다.
bitDepthLumaMinus8은 해당 디코더 설정 기록이 적용되는 스트림에 대한 루마 샘플 어레이의 비트 뎁스를 특정하는 정보를 포함한다. 이때, 루마 샘플 어레이의 비트 뎁스를 특정하는 정보를 기반으로 루마 샘플의 양자화 파라미터의 범위에 대한 오프셋(the luma quantization parameter range offset)의 비트 뎁스가 특정될 수도 있다.
bitDepthChromaMinus8은 해당 디코더 설정 기록이 적용되는 스트림에 대한 크로마 샘플 어레이의 비트 뎁스를 특정하는 정보를 포함한다. 이때, 크로마 샘플 어레이의 비트 뎁스를 특정하는 정보를 기반으로 크로마 샘플의 양자화 파라미터의 범위에 대한 오프셋의 비트 뎁스가 특정될 수도 있다.
HEVCDecoderConfigurationRecord는 프레임 레이트에 관한 정보를 포함한다. 예컨대, HEVCDecoderConfigurationRecord는 프레임 레이트의 평균 값을 지시하는 정보(avgFrameRate)와 일정하게 영상이 재생되도록 프레임 레이트의 값을 설정하는 일정 프레임 레이트 정보(constantFrameRate) 그리고, 시간적 레이어의 개수를 지시하는 정보(numTemporalLayers)를 포함할 수 있다.
avgFrameRate는 해당 디코더 설정 기록이 적용되는 스트림에 대하여, 평균 프레임 레이트를 알려준다. 0의 값을 갖는 avgFrameRate는 특정되지 않은 평균 프레임 레이트를 지시한다.
constantFrameRate는 해당 디코더 설정 기록이 적용되는 스트림에 대해서, 프레임 레이트가 일정한지를 지시한다. 예컨대, constantFrameRate의 값이 0이면 스트림이 일정한 프레임 레이트를 가질 수도 있고 일정한 프레임 레이트를 갖지 않을 수도 있다는 것을 지시한다. constantFrameRate의 값이 1이면, 스트림이 일정한 프레임 레이트를 갖는다는 것을 지시한다. constantFrameRate의 값이 2면 스트림의 각 시간 계층(temporal layer)의 표현(representation)이 일정 프레임 레이트를 갖는다는 것을 지시한다.
numTemporalLayers는 해당 디코더 설정 기록이 적용되는 스트림의 시간 계층 계수를 특정하는 정보를 포함한다. 예컨대, numTemporalLayers의 값이 0이면, 스트림이 시간적으로 스케일러블(temporally scalable)한지가 알려지지 않았음을 지시하며, numTemporalLayers의 값이 1이면 스트림이 시간적으로 스케일러블 하지 않다는 것을 지시한다. numTemporalLayers의 값이 1보다 크면, 스트림이 시간적으로 스케일러블하며, numTemporalLayers의 값과 동일한 개수의 시간 계층을 포함한다는 것을 지시할 수 있다.
HEVCDecoderConfigurationRecord는 해당 디코더 설정 기록이 적용되는 스트림 내 HEVC 비디오 샘플의 NAL 유닛 길이에 관한 정보 lengthSizeMinusOne를 포함할 수 있다. 예컨대, lengthSizeMinusOne는 스트림 내 HEVC 비디오 샘플의 NAL 유닛 길이(NALUnitLength) 필드의 길이를 바이트(byte) 단위로 나타낼 수 있다. 예컨대, 1 비트의 사이즈는 lengthSizeMinusOne의 값 0으로 지시될 수 있다.
HEVCDecoderConfigurationRecord는 NAL 유닛의 개수에 관한 정보를 포함할 수 있다. 표 2의 예에서는, numInitializationNalus를 통해 해당 디코더 설정 기록이 적용되는 스트림의 NAL 유닛 개수를 특정할 수 있다.
HEVCDecoderConfigurationRecord에서 각 NAL 유닛과 NAL 유닛의 길이는 nalUnit과 nalUnitLength에 의해 특정된다. 이때, NAL 유닛의 길이는 바이트 단위로 특정될 수 있다.
한편, 표 1에 예시된 AVC에 대한 디코더 설정 기록과 표 2에 예시된 HEVC에 대한 디코더 설정 기록을 간에는 몇 가지 차이가 존재한다.
AVCDecoderConfigurationRecord에서 신택스 요소(syntax element) 중 크로마 포맷에 관한 정보 chroma_format, 루마 샘플의 비트 뎁스에 관한 정보 bit_depth_luma_minus8, 크로마 샘플의 비트 뎁스에 관한 정보 bit_depth_luma_minus8이 프로파일 정보에 따라서 조건부로 전송된다.
반면에, HEVCDEcoderConfigurationRecord에서 신택스 요소 chroma_format, bit_depth_luma_minus8, bit_depth_luma_minus8를 조건 없이 항상 시그널링한다.
또한, AVCDecoderConfigurationRecord와 달리, HEVCDecoderConfigurationRecord는 SPS 확장(Sequence Parameter Set extension: SequenceParameterSetExt)을 지원하지 않는다.
비(非)-VCL(Non-Video Coding Layer) NAL 유닛은 페이로드에 VCL NAL 유닛과 함께 저장될 수도 있고, 디코더 설정 기록에 저장될 수 있다. 비-VCL NAL 유닛이 디코더 설정 기록에 저장되는 경우에, AVCDecoderConfigurationRecord에서는 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set)가 서로 다른 어레이에서 별개로 시그널링된다. 이때, SEI(Supplemental Enhancement Information) 메시지는 SPS와 PPS 에서 시그널링될 수 있다.
반면에, HEVCDecoderConfigurationRecord에서는, 모든 비-VCL NAL 유닛들(예컨대, SPS, PPS, APS(Adaptation Parameter Set), SEI 등)이 하나의 어레이 혹은 하나의 초기 NAL 유닛(initialization NAL unit)에서 함께 섞여 있다.
이처럼, HEVCDecoderConfigurationRecord는 AVCDecoderConfigurationRecord와는 다른 점을 가지고 있다.
하지만, HEVC에 대한 디코더 설정 기록 HEVCDecoderConfigurationRecord에서도 효과적인 비디오 코딩(인코딩/디코딩)을 위해 개선될 부분이 존재한다.
이하, 구체적인 실시예를 통해, 본 발명에 따른 HEVCDecoderConfigurationRecord와 그에 따른 효과에 대하여 설명한다.

1. HEVC 디코더 설정 기록 ( HEVC DecoderConfigurationRecord ) 에서 요소(element) 들을 시그널링 하는 방법
표 2의 HEVCDecoderConfigurationRecord에서는 신택스 요소들이 아래 표 3과 같이 시그널링 되고 있다.
표 3은 표 2에서 신택스 요소 constantFrameRate, numTemporalLayers, lengthSizeMinusOne의 시그널링만을 나타낸 것이다.
<표 3>
Figure PCTKR2013003869-appb-I000003
표 3을 참조하면, constantFrameRate에 1 비트가 할당되고, numTemporalLayers에 3비트가 할당되며, 2 비트의 예비 비트(reserved bits)와 함께, lengthSizeMinusOne에 2 비트가 할당된다.
따라서, 8 비트 파서(parser)를 사용하여, 스트림을 8 비트씩 읽는 경우를 가정하면, 표 3의 경우 하나의 8 비트 스트링 데이터가 3 이상의 신택스 요소를 포함하게 된다.
따라서, 원활한 파싱이 수행되기 어려워지고, 8 비트 단위 파싱의 간결성도 유지하기 어려워진다.
이 문제를 해결하기 위해 다음과 같은 2 가지 실시예 중 어느 하나를 이용할 수 있다.
(실시예 1-1) 모든 신택스 요소에 8 비트 정렬 시그널링을 적용하는 방법.
실시예 1-1에서는, HEVCDecoderConfigurationRecord에서 시그널링되는 모든 신택스 요소가 8 비트 단위로 정렬된다. 이때, 8 비트 단위의 사이즈가 아닌 신택스 요소에 대해서는 패딩 비트를 사용할 수 있다.
예컨대, 8 비트 또는 8 비트의 배수가 되기에 부족한 사이즈의 신택스 요소에 대해서는 패딩 비트를 신택스 요소의 앞 또는 뒤에 추가할 수 있다. 패딩 비트로는 예비 비트(reserved bits)를 이용할 수 있다.
표 4는 실시예 1-1에 따른 HEVCDecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 4>
Figure PCTKR2013003869-appb-I000004
표 3에서는 8 비트 단위의 사이즈를 갖지 못하는 신택스 요소 앞에 예비 비트를 추가하여 해당 신택스 요소에 대한 전송이 8 비트 단위로 이루어지도록, 해당 신택스 요소에 대한 파싱이 8 비트 단위로 이루어지도록 하고 있다.
다시 말하면, 실시예 1-1에서는 신택스 요소 앞에 예비 비트를 추가함으로써, 파싱/전송이 한 신택스 요소씩 8 비트 단위로 수행되게 할 수 있다.
예컨대, 표 3의 예에서는 6 비트의 예비 비트를 추가하여 constantFrameRate에 대한 전송/파싱이 8 비트 단위가 되도록 한다. numTemporalLayers 의 경우에는, 5 비트의 예비 비트가 추가되어 전송/파싱이 8 비트 단위가 된다. 또한, 6 비트의 예비 비트를 추가하여 lengthSizeMinusOne에 대한 전송/파싱이 8 비트 단위가 되도록 한다.
표 2에서 설명한 바와 같이, constantFrameRate의 값이 0이면 스트림이 일정한 프레임 레이트를 가질 수도 있고 일정한 프레임 레이트를 갖지 않을 수도 있다는 것을 지시한다. constantFrameRate의 값이 1이면, 스트림이 일정한 프레임 레이트를 갖는다는 것을 지시한다. constantFrameRate의 값이 2면 스트림의 각 시간 계층(temporal layer)의 표현(representation)이 일정 프레임 레이트를 갖는다는 것을 지시한다.
따라서, constantFrameRate에는 1 비트가 아니라 2 비트가 할당된다.
실시예 1-1에 의하면, 파싱이 심플하게 수행될 수 있다. 단순히 8 비트 단위로 신택스 요소를 파싱할 수 있으므로, 파서를 간단하게 구현할 수 있다.
또한, 8 비트 파서로 1 패스/1 사이클 파싱이 가능하게 된다. 예컨대, 8 비트 파서가 종래의 HEVCDecoderConfigurationRecord 내 신택스 요소를 파싱하는 경우라면, 신택스 요소들 constantFrameRate, numTemporalLayers, lengthSizeMinusOne 을 추출하는데 추가 프로세스가 필요했지만, 실시예 1-1을 적용하는 경우에는 추가 프로세스가 필요없다.
표 4에서는 예비 비트를 신택스 요소 앞에 추가하여 전송/파싱이 8 비트 단위가 되도록 하였으나, 본 발명은 이에 한정되지 않으며, 예비 비트를 신택스 요소 뒤에 추가하여 해당 신택스 요소에 대한 전송/파싱이 8 비트 단위가 되도록 할 수도 있다.
또한, 표 4에서는 8 비트 단위로 파싱하는 경우를 예로서 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 8 비트 단위로 파싱하는 파서가 아니라, X 비트 단위로 파싱하는 파서를 사용하는 경우에는, 신택스 요소가 X 비트 단위로 전송/파싱되도록 할 수 있다. 이때는 예비 비트를 신택스 요소의 앞 또는 뒤에 추가하여 전송/파싱이 한 신택스 요소씩 8 비트 단위로 수행되게 할 수 있다.
(실시예 1-2) 신택스 요소의 시그널링에서 예비 비트 사용의 최소화
실시예 1-2의 HEVCDecoderConfigurationRecord에서는 컴팩트한 폼으로 신택스 요소가 시그널링되며, 예비 비트의 사용이 최소화된다. 예비 비트는 전체 HEVCDecoderConfigurationRecord 길이가 바이트 정렬되도록 하기 위해 마지막 수단으로 사용될 수 있다.
표 5는 실시예 1-2에 따른 HEVCDecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 5>
Figure PCTKR2013003869-appb-I000005
표 5의 예에서는, 전체 HEVCDecoderConfigurationRecord를 바이트 정렬하기 위해 1 비트의 예비 비트만을 사용한다.
예비 비트는 단일 신택스 요소들이 8 비트 단위로 전송/파싱될 수 있게 필요한 부분에서 최소 한도로 사용된다. 예컨대, 예비 비트는 8 비트에 모자라는 신택스 요소(들)에 더해져서 8 비트 단위로 신택스 요소들이 전송/파싱되도록 할 수 있다.
실시예 1-2에 따른 HEVCDecoderConfigurationRecord를 이용하면 종래의 HEVCDecoderConfigurationRecord를 이용하는 것보다 컴팩트한 시그널링이 가능하며 더 적은 비트 수로 시그널링할 수 있게 된다.

2. HEVC 디코더 설정 기록( HEVC DecoderConfigurationRecord )에서 NAL 유닛을 시그널링 하는 방법
상술한 파싱/전송 단위에 따른 신택스 요소의 조정과 함께 혹은 별도로 HEVCDecoderConfigurationRecord에서 초기 NAL 유닛을 시그널링하는 방법이 문제된다.
표 1의 AVCDecoderConfigurationRecord 내에는 SPS, PPS, APS, SEI 메시지 등이 개별 어레이에서 시그널링 되고 있으며, 표 2의 HEVCDecoderConfigurationRecord 내에서는 VPS(Video Parameter Set), SPS(Sequence Parameter Set), PPS(Picture Parameter Set)의 NAL 유닛이 혼재되어(be mixed) 시그널링되고 있다.
이때, 적응적으로 사용 가능한 APS(Adaptation Parameter Set)이 필요에 따라 HEVCDecoderConfigurationRecord에서 전송될 수도 있다.
HEVCDecoderConfigurationRecord가 디코더의 초기 설정을 특정하는 정보이므로, 설명의 편의를 위해 본 명세서에서는 HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛을 초기 NAL 유닛이라고 한다.
표 2의 HEVCDecoderConfigurationRecord에서와 같이 초기 NAL 유닛이 혼재하는 경우에, HEVCDecoderConfigurationRecord의 파서는 파싱하는 초기 NAL 유닛의 타입을 알기 위해서 NAL 유닛 헤더를 참조해야 한다.
이 경우, 파서의 동작과 HEVC 파일 포맷의 전체 구조가 복잡해지며, 파서의 부담이 가중될 수 있다.
따라서, HEVC 파일 포맷이 HEVC 인코딩/디코딩의 세부적인 사항에까지 관여하지 않도록, 다시 말하면, 파서의 부담을 줄이고 시스템에서 처리되는 파일 포맷 레벨에서 필요한 정보들이 간단하게 처리될 수 있도록 할 필요가 있다.
본 발명에서는 HEVC 파일을 다루기 위해 필요한 정보들이 파일 포맷 레벨에서 이용 가능하도록 HEVCDecoderConfigurationRecord를 구성한다. 구체적으로, 본 발명에 따른 HEVCDecoderConfigurationRecord에서는 파서가 NAL 유닛 헤더의 정보 혹은 더 하위 레벨의 정보를 참조하지 않고, HEVCDecoderConfigurationRecord의 정보만을 이용해서 NAL 유닛의 타입을 파악할 수 있다.
이를 위해, 아래 두 실시예 중 어느 하나를 사용하거나 혹은 두 방법을 혼합하여 사용할 수 있다.
(실시예 2-1) 각 초기 NAL 유닛을 구분하기 위한 타입 정보의 부가하는 경우
초기 NAL 유닛의 타입은 초기 NAL 유닛의 헤더 정보 중 첫 번째 바이트(byte)를 파싱함으로써 확인할 수는 있지만, 상술한 바와 같이 HEVC 파일을 다루기 위해 필요한 정보들을 시스템 레벨(예컨대, 파일 포맷 레벨)에서 이용하지 못하고 하위 레벨의 정보를 참조하여 획득하게 된다.
실시예 2-1에서는 초기 NAL 유닛의 타입을 HEVCDecoderConfigurationRecord에서 시그널링 한다. 구체적으로, HEVCDecoderConfigurationRecord에서는 초기 NAL 유닛별로 초기 NAL 유닛의 타입과 길이에 관한 정보를 전송하고, 이어서 해당 초기 NAL 유닛을 전송한다.
표 6은 실시예 2-1에 따른 HEVCDecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 6>
Figure PCTKR2013003869-appb-I000006
표 6에서, 초기 NAL 유닛 타입 지시자 initializationNalUnitType은 연관된 초기 NAL 유닛의 타입을 특정한다.
예컨대, HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 SPS, PPS, APS, SEI 인 경우에, initializationNalUnitType은 각 초기 NAL 유닛별로 해당 NAL 유닛의 타입이 그 중 어떤 것인지를 지시할 수 있다.
표 7은 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 SPS, PPS, APS, SEI 인 경우에, 본 발명에 따라서 initializationNalUnitType의 값과 초기 NAL 유닛 타입을 대응시키는데 이용되는 테이블의 일 예를 나타낸 것이다.
<표 7>
Figure PCTKR2013003869-appb-I000007
표 7에서는 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 SPS, PPS, APS, SEI 인 경우를 예시했지만, 본 발명은 이에 한정되지 않는다. 예컨대, 적응적으로 사용되는 파라미터 세트인 APS가 사용되지 않고, VPS의 전송이 필요할 수도 있다.
표 8은 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 SPS, PPS, VPS, SEI 인 경우에, 본 발명에 따라서 initializationNalUnitType의 값과 초기 NAL 유닛 타입을 대응시키는데 이용되는 테이블의 일 예를 나타낸 것이다.
<표 8>
Figure PCTKR2013003869-appb-I000008
또한, HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 폔, SPS, PPS, APS, SEI 중 어느 하나일 수도 있다.
표 9는 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛 타입이 VPS, SPS, PPS, APS, SEI인 경우에, 본 발명에 따라서 initializationNalUnitType의 값과 초기 NAL 유닛 타입을 대응시키는데 이용되는 테이블의 일 예를 나타낸 것이다.
<표 9>
Figure PCTKR2013003869-appb-I000009
표 7 내지 표 9에서, PPS(Picture Parameter Set)는 0 또는 그보다 많은 개수의 픽처들에 적용되는 파라미터 정보를 지시하는 신택스 요소를 포함하는 신택스 구조(syntax structure)이다. PPS에 포함된 신택스 요소는 슬라이스 시그먼트 헤더의 신택스 요소에 의해 필요한 경우에 참조될 수 있다.
SPS(Sequence Parameter Set)는 0 또는 그보다 많은 코딩된 비디오 시퀀스에 적용되는 파라미터 정보를 지시하는 신택스 요소를 포함하는 신택스 구조이다. SPS에 포함된 신택스 요소는 PPS 내 신택스 요소에 의해 필요한 경우에 참조될 수 있다.
VPS(Video Parameter Set)는 0 또는 그보다 많은 코딩된 비디오 시퀀스에 적용되는 파라미터 정보를 지시하는 신택스 요소를 포함하는 신택스 구조이다. VPS에 포함된 신택스 요소는 SPS 내 신택스 요소에 의해 필요한 경우에 참조될 수 있다.
SEI(Supplemental Enhancement Information) 메시지는 비디오를 다양한 목적에 맞게 효과적으로 이용하기 위해 비트스트림에 추가되는 정보이다.
HEVCDecoderConfigurationRecord에서는 표 7 내지 표 9와 같은 테이블 중 어느 하나를 사용하여, HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛마다 해당 NAL 유닛의 타입이 무엇인지를 시스템 레벨에서 지시할 수 있다.
예컨대, 수신단(디코더 측의 시스템)에서는 HEVCDecoderConfigurationRecord 내에서 initializationNalUnitType을 파싱하여 initializationNalUnitType의 값에 따라 대응하는 NAL 유닛의 타입을 파악할 수 있다.
표 6에서, nalUnitLength은 initializationNalUnitType이 지시하는 초기 NAL 유닛의 길이를 지시한다.
표 6에서, nalUnit은 initializationNalUnitType이 지시하는 초기 NAL 유닛이다. 표 7이 사용되는 경우에, nalUnit은 SPS, PPS, APS, SEI 중 어느 하나일 수 있다. 표 8이 사용되는 경우에, nalUnit은 VPS, SPS, PPS, SEI 중 어느 하나일 수 있다. 또한, 표 9가 사용되는 경우에, nalUnit은 VPS, SPS, PPS, APS, SEI 중 어느 하나일 수 있다.
표 6을 참조하면, numInitializationNalus에 의해 HEVCDecoderConfigurationRecord에 포함된 초기 NAL 유닛의 개수가 특정되면, 초기 NAL 유닛의 개수만큼, 순서대로 초기 NAL 유닛의 타입과 길이를 지시하고 해당 초기 NAL 유닛을 전송한다.
표 6에서는 initializationNalUnit과 nalUnit을 혼용 기재하였으나, 이는 HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛이 초기 NAL 유닛이라는 점을 나타내면서 HEVCDecoderConfigurationRecord를 간단히 설명하기 위한 것으로서, 관련된 표현들을 통일할 수도 있다.
표 10은 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛에 관한 정보를 ‘initializationNalUnit’ 대신 ‘nalUnit’을 이용하여 간단히 표현하는 경우에, 실시예 2-1에 따른 HEVCDecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 10>
Figure PCTKR2013003869-appb-I000010
표 10에서는 initializationNalUnit’ 대신 ‘nalUnit’을 이용하여 NAL 유닛에 관한 정보들을 표현하였으나, 구체적인 내용은 표 6과 동일하다.
표 6과 표 10에서는 HEVCDecoderConfigurationRecord에서 초기 NAL 유닛별로 NAL 유닛 타입을 지시하고 있으나, 본 발명은 이에 한정되지 않는다. 예컨대, HEVCDecoderConfigurationRecord에서 NAL 유닛 타입별로 각 초기 NAL 유닛의 길이를 지시하고 초기 NAL 유닛을 전송할 수도 있다.
표 11은 실시예 2-1에 따른 HEVCDecoderConfigurationRecord의 다른 예를 나타낸 것이다.
<표 11>
Figure PCTKR2013003869-appb-I000011
표 11에서, numOfNalUnitType는 HEVCDecoderConfigurationRecord에서 지시되는 NAL 유닛 타입의 개수를 지시하며, NAL_unit_type는 NAL 유닛 타입을 특정한다.
numNalus는 NAL_unit_type에 의해 특정되는 NAL 유닛 타입에 해당하는 초기 NAL 유닛의 개수를 지시한다.
표 11을 참조하면, NAL_unit_type에 의해 특정되는 NAL 유닛 타입에 해당하는 초기 NAL 유닛들의 개수만큼, 순서대로 해당 NAL 유닛 타입에 속하는 각 초기 NAL 유닛의 길이를 지시하고, 해당 초기 NAL 유닛을 전송한다.
표 6과 표 10 그리고 표 11에서는 HEVCDecoderConfigurationRecord에서 NAL 유닛 타입(들)에 대응하는 초기 NAL 유닛(들)이 하나의 NAL 유닛 어레이에 있는 경우에 대하여 설명하고 있으나, 본 발명은 이에 한정되지 않는다. 예컨대, 본 발명은 NAL 유닛 타입(들)에 대응하는 초기 NAL 유닛들이 하나 이상의 NAL 유닛 어레이에 있는 경우에 대해서도 동일하게 적용될 수 있다.
표 12은 실시예 2-1에 따른 HEVCDecoderConfigurationRecord의 또 다른 예를 나타낸 것이다.
<표 12>
Figure PCTKR2013003869-appb-I000012
표 12를 참조하면, numArrays는 HEVCDecoderConfigurationRecord에서 지시되는 타입(들)의 초기 NAL 유닛들의 어레이(array) 개수를 지시한다.
array_completeness는 HEVCDecoderConfigurationRecord에서 해당 초기 NAL 유닛 타입에 대응하는 초기 NAL 유닛(들)이 하나의 (NAL 유닛들의) 어레이 내에 있는지를 지시한다. 예컨대, array_completeness의 값이 1이면, 주어진 타입의 모든 NAL 유닛들이 다음 어레이(following array)에 있다는 것을 지시하고, array_completeness의 값이 0이면 주어진 타입의 초기 NAL 유닛들 중에서 다음 어레이에 있지 않은 초기 NAL 유닛들이 스트림에 존재한다는 것을 지시한다.
numNalus는 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여, HEVCDecoderConfigurationRecord에서 해당 NAL 유닛 타입의 초기 NAL 유닛 개수를 지시한다.
표 12를 참조하면, 초기 NAL 유닛의 어레이별로 NAL 유닛 타입과 해당 NAL 유닛 타입에 해당하는 초기 NAL 유닛의 개수를 지시한다. 이때, 해당 NAL 유닛 타입에 해당하는 초기 NAL 유닛의 개수만큼, 순서대로 각 초기 NAL 유닛의 길이를 지시하고 초기 NAL 유닛을 전송한다.
(실시예 2-2) 서로 다른 타입의 초기 NAL 유닛을 서로 다른 어레이에서 전송하는 경우
실시예 2-2에서는 HEVCDecoderConfigurationRecord에서, 초기 NAL 유닛을 NAL 유닛 타입별로 전송한다. 구체적으로, HEVCDecoderConfigurationRecord에서 서로 다른 NAL 유닛 타입의 초기 NAL 유닛은 NAL 유닛 타입별로 서로 다른 어레이에서 전송될 수 있다.
예컨대, HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛의 타입이 VPS, SPS, PPS, SEI, APS 중 일부 또는 전부라면, 각 파라미터 세트/메시지에 해당하는 NAL 유닛을 파라미터 세트/메시지 별로 서로 다른 어레이에서 초기 NAL 유닛이 전송된다. 따라서, VPS에 해당하는 NAL 유닛들을 모아서 전송하고, SPS에 해당하는 초기 NAL 유닛들은 다른 어레이(들)에서 전송되며, PPS에 해당하는 초기 NAL 유닛들은 또 다른 어레이(들)에서 전송될 수 있다.
이때, DecoderConfigurationRecord 내에서 어레이들의 순서는 각 NAL 유닛 타입별 초기 유닛의 예상 개수를 기반으로 결정될 수 있다.
예컨대, NAL 유닛 타입이 SPS인 초기 NAL 유닛(SPS NAL 유닛)들을 시그널링하는 어레이(들)이 다른 타입의 초기 NAL 유닛들을 시그널링하는 어레이(들)보다 먼저 나타날 수 있다. 이어서, NAL 유닛 타입이 PPS인 초기 NAL 유닛(PPS NAL 유닛)들을 시그널링하는 어레이(들)이 위치할 수 있다.
그리고 나서, NAL 유닛 타입이 SEI 메시지인 초기 NAL 유닛(SEI NAL 유닛)들을 시그널링하는 어레이(들)이 위치할 수 있다.
APS가 이용되는 경우라면, NAL 유닛 타입이 APS인 초기 NAL 유닛(APS NAL 유닛)들을 시그널링하는 어레이(들)이 마지막에 위치할 수도 있다.
또한, VPS가 이용되는 경우라면, NAL 유닛 타입이 VPS인 초기 NAL 유닛(VPS NAL 유닛)들을 시그널링하는 어레이(들)이 제일 처음에 위치할 수도 있다.
표 13은 실시예 2-2에 따른 DecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 13>
Figure PCTKR2013003869-appb-I000013
표 13에서, numOfSequenceParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 SPS들의 개수를 지시한다. numOfSequenceParameterSets의 값이 0이면, 스트림의 샘플들에 SPS가 없다는 것을 지시하고, numOfSequenceParameterSets의 값이 0 보다 크면, 적어도 하나의 SPS(예컨대, 해당 값과 같은 개수만큼의 SPS)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
sequenceParameterSetLength는 SPS NAL 유닛들의 길이를 바이트 단위로 지시한다.
numOfPictureParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 PPS의 개수를 지시한다. numOfPictureParameterSets의 값이 0이면, 스트림의 샘플들에 PPS가 없다는 것을 지시하고, numOfPictureParameterSets의 값이 0 보다 크면, 적어도 하나의 PPS(예컨대, 해당 값과 같은 개수만큼의 PPS)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
pictureParameterSetLength는 PPS NAL 유닛들의 길이를 바이트 단위로 지시한다.
numOfDeclarativeSEIs는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 선언적 SEI(declarative SEI)의 개수를 지시한다. numOfDeclarativeSEIs의 값이 0이면, 스트림의 샘플들에 선연적 SEI가 없다는 것을 지시하고, numOfDeclarativeSEIs의 값이 0 보다 크면, 적어도 하나의 선언적 SEI(예컨대, 해당 값과 같은 개수만큼의 선연적 SEI)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
declarativeSeiLength는 SEI 유닛들의 길이를 바이트 단위로 지시한다.
numOfAdaptationParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 APS의 개수를 지시한다. numOfAdaptationParameterSets의 값이 0이면, 스트림의 샘플들에 APS가 없다는 것을 지시하고, numOfAdaptationParameterSets의 값이 0 보다 크면, 적어도 하나의 APS가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
adaptationParameterSetLength는 APS NAL 유닛들의 길이를 바이트 단위로 지시한다.
여기서는 SPS, PPS, 선언적 SEI, APS의 네 NAL 유닛 타입이 HEVCDecoderConfigurationRecord에 포함되는 경우를 예로서 설명하였으나, 본 실시예는 이에 한정되지 않는다.
예컨대, APS 대신 VPS가 HEVCDecoderConfigurationRecord에 포함된다면, 실시예 2-2의 HEVCDecoderConfigurationRecord에서는 VPS, SPS, PPS, 선언적 SEI의 순서로 시그널링될 수도 있다.
(실시예 2-3) 서로 다른 타입의 초기 NAL 유닛을 서로 다른 어레이에서 전송하는 다른 경우
실시예2-2에서는 파라미터 세트를 시그널링 하는 순서가 모든 SPS를 먼저 시그널링 하고, 그 다음 모든 PPS를 시그널링 하고, 다음에 모든 선언적 SEI를 시그널링 하며, 마지막으로 모든 APS를 시그널링 했다.
이와 달리, 본 실시예에서는 모든 SPS를 시그널링 하고, 모든 선언적 SEI를 시그널링 한 후에 모든 PPS를 시그널링 하며, 마지막으로 모든 APS를 시그널링 할 수 있다.
표 14는 실시예 2-3에 따른 DecoderConfigurationRecord의 일 예를 나타낸 것이다.
<표 14>
Figure PCTKR2013003869-appb-I000014

표 14에서, numOfSequenceParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 SPS들의 개수를 지시한다. numOfSequenceParameterSets의 값이 0이면, 스트림의 샘플들에 SPS가 없다는 것을 지시하고, numOfSequenceParameterSets의 값이 0 보다 크면, 적어도 하나의 SPS(예컨대, 해당 값과 같은 개수만큼의 SPS)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
sequenceParameterSetLength는 SPS NAL 유닛들의 길이를 바이트 단위로 지시한다.
numOfDeclarativeSEIs는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 선언적 SEI(declarative SEI)의 개수를 지시한다. numOfDeclarativeSEIs의 값이 0이면, 스트림의 샘플들에 선연적 SEI가 없다는 것을 지시하고, numOfDeclarativeSEIs의 값이 0 보다 크면, 적어도 하나의 선언적 SEI(예컨대, 해당 값과 같은 개수만큼의 선연적 SEI)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
declarativeSeiLength는 SEI 유닛들의 길이를 바이트 단위로 지시한다.
numOfPictureParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 PPS의 개수를 지시한다. numOfPictureParameterSets의 값이 0이면, 스트림의 샘플들에 PPS가 없다는 것을 지시하고, numOfPictureParameterSets의 값이 0 보다 크면, 적어도 하나의 PPS(예컨대, 해당 값과 같은 개수만큼의 PPS)가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
pictureParameterSetLength는 PPS NAL 유닛들의 길이를 바이트 단위로 지시한다.
numOfAdaptationParameterSets는 해당 디코더 설정 기록이 적용되는 스트림을 디코딩하기 위해 이용되는 APS의 개수를 지시한다. numOfAdaptationParameterSets의 값이 0이면, 스트림의 샘플들에 APS가 없다는 것을 지시하고, numOfAdaptationParameterSets의 값이 0 보다 크면, 적어도 하나의 APS가 스트림의 샘플들에 포함되어 있다는 것을 지시한다.
adaptationParameterSetLength는 APS NAL 유닛들의 길이를 바이트 단위로 지시한다.
여기서는 SPS, 선언적 SEI, PPS, APS의 네 NAL 유닛 타입이 HEVCDecoderConfigurationRecord에 포함되는 경우를 예로서 설명하였으나, 본 실시예는 이에 한정되지 않는다.
예컨대, APS 대신 VPS가 HEVCDecoderConfigurationRecord에 포함된다면, 실시예 2-3의 HEVCDecoderConfigurationRecord에서는 VPS, SPS, 선언적 SEI, PPS의 순서로 시그널링될 수도 있다.
(실시예 2-4) 다중 어레이(array)에서 서로 다른 타입의 초기 NAL 유닛을 분리하는 경우
앞선 실시예들과 달리, 본 실시예에서 NAL 유닛들의 각 타입은 서로 다른 어레이들에서 시그널링 될 수 있다(may be signaled in separate arrays). 또한, 각 NAL 유닛 타입의 NAL 유닛들은 한 어레이에서 시그널링 될 수 있다.
즉, NAL 유닛 타입(예컨대, VPS, SPS, PPS, SEI, APS 등)들은 서로 다른 어레이에서 시그널링 될 수 있다. 각 NAL 유닛 타입에 속하는 모든 NAL 유닛들은 동일한 어레이에서 시그널링 될 수도 있고, 다른 NAL 유닛 타입에 속하는 NAL 유닛들과는 다른 어레이(들)에서 함께 시그널링될 수도 있다.
NAL 유닛들의 각 타입에 대한 어레이에는 NAL 유닛들의 타입과 개수를 지시하는 정보가 먼저 시그널링 된다. 혹은 NAL 유닛들의 각 타입에 대한 어레이 전에 NAL 유닛들의 타입과 개수를 지시하는 정보가 먼저 시그널링 될 수도 있다.
HEVCDecoderConfigurationRecord 내 어레이의 순서는 각 NAL 유닛 타입에 대한 NAL 유닛의 개수에 기반하여 정해질 수도 있고 어레이에 대한 NAL 유닛 타입이 무엇인지에 기반해서 정해질 수도 있다.
예를 들면, SPS NAL 유닛을 시그널링 하기 위한 어레이가 다른 NAL 유닛 타입에 대한 어레이보다 먼저 나타날 수도 있다. 그러면, PPS NAL 유닛을 시그널링 하기 위한 어레이가 그 다음에 나타나고, 선언적 SEI NAL 유닛을 시그널링하기 위한 어레이가 나온 뒤에 마지막으로 APS NAL 유닛을 시그널링 하기 위한 어레이가 나타날 수 있다.
SPS NAL 유닛→PPS NAL 유닛→SEI NAL 유닛→APS NAL 유닛의 출현 순서는 각 NAL 유닛 타입에 속하는 NAL 유닛의 개수 혹은 참조 관계 등을 고려하여 미리 정해져 있을 수 있다.
NAL 유닛 타입으로 SPS, PPS, 선언적 SEI, APS가 사용되는 대신 VPS, SPS, PPS, SEI가 사용될 수도 있다.
예를 들면, VPS NAL 유닛을 시그널링 하기 위한 어레이가 다른 NAL 유닛 타입에 대한 어레이보다 먼저 나타날 수도 있다. 그러면, SPS NAL 유닛을 시그널링 하기 위한 어레이가 그 다음에 나타나고, 선언적 PPS NAL 유닛을 시그널링하기 위한 어레이가 나온 뒤에 마지막으로 SEI NAL 유닛을 시그널링 하기 위한 어레이가 나타날 수 있다.
표 15는 실시예 2-4에 따른 HEVCDecoderConfigurationRecord의 일 예를 간단히 나타낸 것이다.
<표 15>
Figure PCTKR2013003869-appb-I000015
표 15에서, ProfileIndication는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대한 프로파일 코드(profile_idc)를 포함한다. 표 15에서는 ProfileIndication를 이용하고 있지만, ProfileIndication 대신 profile_idc를 그냥 이용할 수도 있다. 프로파일 코드는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, 프로파일 코드는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
profileCompatibility 는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여, SPS(Sequence Parameter Set) 내 프로파일 코드(profile_idc)와 레벨 코드(level_idc) 사이에서 발생하는 바이트와 동일하게 정의되는 바이트이다. 프로파일 코드와 레벨 코드는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, 레벨 코드와 프로파일 코드는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
LevelIndication 은 레벨 코드(level_idc)를 포함한다. 표 15에서는 LevelIndication을 이용하고 있으나, LevelIndication 대신 level_idc 그냥 이용할 수도 있다. 레벨 코드는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, 레벨 코드는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
예를 들어, 현재 비트스트림이 HEVC의 기술을 따르는 경우, 프로파일 코드는 를 정의하는 콘텍스트를 따르는 경우, profile_idc는 현재 CVS(Coded Video Sequence)가 프로파일을 지시할 수 있으며, level_idc는 현재 CVS가 따를 수 있는 레벨 즉 특정 레벨 이하의 레벨을 지시할 수 있다.
chromaFormat는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여 chroma_format_idc파라미터에 의해 지시되는 프로마 포맷 지시자(chroma_format indicator)를 포함한다. chroma_format_idc 는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, chroma_format_idc 는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
bitDepthLumaMinus8는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여 bit_depth_luma_minus8 파라미터에 의해 지시되는 루마 비트 뎁스 지시자(luma bit depth indicator)를 포함한다. bit_depth_luma_minus8는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, bit_depth_luma_minus8는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
bitDepthChromaMinus8은 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여 bit_depth_chroma_minus8 파라미터에 의해 지시되는 크로마 비트 뎁스 지시자(chroma bit depth indicator)를 포함한다. bit_depth_chroma_minus8는 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, bit_depth_chroma_minus8는 ISO/IEC 23008-HEVC에서 정의될 수 있다.
avgFrameRate는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여, 프레임 단위로 평균 프레임 레이트(average frame rate)를 알려준다. avgFrameRate의 값이 0이면, 평균 프레임 레이트가 특정되지 않았다는 것을 지시한다. 즉, 0의 값을 가지는 avgFrameRate는 특정되지 않은 평균 프레임 레이트를 지시한다.
constantFrameRate 의 값이 1이면, 본 HEVCDecoderConfigurationRecord가 적용되는 스트림이 일정한 프레임 레이트를 가지는 것을 지시한다. constantFrameRate의 값이 2이면, 스트림의 각 시간적 레이어의 리프리젠테이션(representation)이 일정한 프레임 레이트를 가지는 것을 지시한다. constantFrameRate의 값이 0이면, 스트림이 일정한 프레임 레이트를 가질 수도 있고 아닐 수도 있다(may or may not be of constant frame rate)는 것을 지시한다.
numTemporalLayers의 값이 1보다 크면, 본 HEVCDecoderConfigurationRecord가 적용되는 스트림이 시간적으로 스케일러블(temporally scalable) 하고 numTemporalLayers의 값과 동일한 개수의 레이어를 포함한다는 것을 지시한다. numTemporalLayers의 값이 1이면, 스트림이 시간적으로 스케일러블 하지 않다는 것을 지시한다. numTemporalLayers의 값이 0이면 스트림이 시간적으로 스케일러블 한지 알 수 없다는 것을 지시한다.
lengthSizeMinusOne +1은 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에서 HEVC 비디오 샘플 내 NALUnitLength 필드의 길이를 바이트(byte) 단위로 지시한다. 예컨대, 1 바이트의 사이즈는 0의 값을 가지는 lengthSizeMinusOne로 지시될 수 있다. 이 필드의 값은 각각 1, 2 또는 4 바이트로 코딩되는 길이에 대응하여 0, 1 또는 3 중 어느 한 값을 가질 수 있다.
numOfInitParameterGroups 는 HEVCDecoderConfigurationRecord 내에 존재하는 NAL 유닛 타입의 개수에 대응한다. 표 7 내지 표 9에서 볼 수 있듯이, 파라미터 타입은 NAL 유닛 타입에 대응한다. 예컨대, 표 8의 예를 참조하면, VPS는 NAL 유닛 타입 0에 대응하고, SPS는 NAL 유닛 타입 1에 대응하며, PPS는 NAL 유닛 타입 2에 대응할 수 있다.
initializationNalUnitType은 관련된 초기 NAL 유닛 타입을 특정한다. 본 실시예에서 특정되는 NAL 유닛 타입의 예는 표 7, 표 8 또는 표 9와 같다.
HEVCDecoderConfigurationRecord 내에서, NAL 유닛 타입은 정해진 순서에 따라서 등장할 수 있다. 예컨대, 표 7과 같은 NAL 유닛 타입이 사용되는 경우에는 SPS, PPS, SEI, APS의 순서로 HEVCDecoderConfigurationRecord에 나타날 수 있다. 표 8과 같은 NAL 유닛 타입이 사용되는 경우에는 VPS, SPS, PPS, SEI의 순서로 HEVCDecoderConfigurationRecord에 나타날 수 있다. 또한, 표 9와 같은 NAL 유닛 타입이 사용되는 경우에는 VPS, SPS, PPS, SEI, APS의 순서로 HEVCDecoderConfigurationRecord에 나타날 수도 있다.
numInitializationNalus는 본 HEVCDecoderConfigurationRecord가 적용되는 스트림에 대하여 설정 기록(configuration record)에 포함된 NAL 유닛 타입 별 NAL 유닛의 개수를 지시할 수 있다. 예컨대, numInitializationNalus는 VPS NAL 유닛의 개수, SPS NAL 유닛의 개수, PPS NAL 유닛의 개수, (선언적) SEI NAL 유닛의 개수 및/또는 APS NAL 유닛의 개수를 지시할 수 있다.
선언적 SEI NAL 유닛은 ‘선언적’ 성격(‘declarative’ nature)의 SEI 메지지 즉 전체 스트림에 대한 정보(information about the stream as a whole)를 제공하는 SEI 메시지를 포함한다. 이런 SEI의 예로서, 사용자 데이터 SEI(user-data SEI)가 있다. 그 값이 0이면, 스트림의 샘플들에는 적어도 하나의 SPS와 하나의 PPS가 포함된다.
nalUnitLength 는 NAL 유닛의 길이를 바이트 단위로 지시한다.
nalUnit은 VPS, SPS, PPS, APS 또는 선언적 SEI NAL 유닛을 포함한다. 즉, 표 15에서 nalUnit은 initializationNalUnitType에 특정되는 NAL 유닛 타입에 속하는 NAL 유닛들을 포함한다. VPS, SPS, PPS, APS 또는 선언적 SEI NAL 유닛은 HEVC 기술을 규정하는 콘텍스트 혹은 HEVC 기술을 해석하기 위한 콘텍스트에서 정의될 수 있다. 예컨대, VPS, SPS, PPS, APS 또는 선언적 SEI NAL 유닛은 ISO/IEC 23008-HEVC에서 정의될 수 있다.
표 15를 참조하면, numOfInitParameterGroups 의 파라미터 그룹은 표 7 내지 표 9에서 설명한 바와 같이 NAL 유닛 타입에 대응한다. 따라서, HEVCDecoderConfigurationRecord에서는 NAL 유닛 타입별로, NAL 유닛 타입이 무엇인지가 지시(initializationNalUnitType) 되며, 해당 NAL 유닛 타입에 속하는 NAL 유닛의 개수가 지시(numInitializationNalus) 된다. 이어서, 해당 NAL 유닛 타입에 속하는 NAL 유닛들에 대하여 NAL 유닛의 길이가 지시(nalUnitLength)되고 NAL 유닛이 저장(nalUnit)된다.
nalUnit에 할당되는 비트는 NAL 유닛의 길이를 기반으로 8 비트 단위로 할당될 수 있다. 이때, 특정 NAL 유닛 타입의 NAL 유닛 길이를 기반으로 할 수도 있고, 저장하는 NAL 유닛의 길이를 기반으로 할 수도 있다. 표 15의 예에서는 SPS의 길이(sequenceParameterSetLength)를 기반으로 8 비트 단위의 비트 할당이 이루어진 경우를 설명하고 있다.
한편, 표 15에서는 initializationNalUnit과 nalUnit을 혼용 기재하였으나, 이는 HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛이 초기 NAL 유닛이라는 점을 나타내면서 HEVCDecoderConfigurationRecord를 간단히 설명하기 위한 것으로서, 관련된 표현들을 통일할 수도 있다.
표 16은 HEVCDecoderConfigurationRecord에서 전송되는 초기 NAL 유닛에 관한 정보를 ‘initializationNalUnit’ 대신 ‘nalUnit’을 이용하여 간단히 표현하는 경우에, 실시예 2-4에 따른 HEVCDecoderConfigurationRecord의 다른 예를 나타낸 것이다.
<표 16>
Figure PCTKR2013003869-appb-I000016
표 16의 예에서는 표 15의 예와 달리, nalUnit에 할당되는 비트를 해당 NAL 유닛의 길이(nalUnitLength)를 기반으로 할당하고 있다.
지금까지 본 명세서에서는 NAL 유닛이 DecoderConfigurationRecord에 포함되어 전송된다고, 이는 설명의 편의를 위한 것으로서, 본 발명은 이에 한정되지 않는다. 상술한 바와 같이, NAL 유닛은 DecoderConfigurationRecord에 저장되어 네트워크 상으로 전송될 수도 있다. 또한, NAL 유닛은 DecoderConfigurationRecord에 저장되고, DecoderConfigurationRecord가 저장 매체에 저장되어 전달될 수도 있다.
또한, 본 명에서에서는 DecoderConfigurationRecord 혹은 DecoderConfigurationRecord를 포함하는 스트림을 수신한다고 표현하였으나, 이는 설명의 편의를 위한 것으로서, 본 발명은 이에 한정되지 않는다. 본 명세서에서 DecoderConfigurationRecord 혹은 DecoderConfigurationRecord를 포함하는 스트림을 수신한다는 것은 네트워크 상으로 DecoderConfigurationRecord 혹은 DecoderConfigurationRecord를 포함하는 스트림을 수신한다는 것을 의미할 수도 있고, DecoderConfigurationRecord 혹은 DecoderConfigurationRecord를 포함하는 스트림을 저장 매체 등으로부터 획득한다는 것을 의미할 수도 있다.
한편, 실시예 2의 각 실시예들, 즉 실시예 2-1, 실시예 2-2, 실시예 2-3, 실시예 2-4는 상술한 바와 같이 별개의 방법으로서 적용될 수도 있고, 각 실시예의 특징이 함께 실시될 수도 있다.
예컨대, 실시예 2-4의 경우에도, 단일 NAL 유닛 타입에 대해서 멀티 레이어의 구조가 적용될 수 있다. 예컨대, 표 15 또는 표 16의 경우에도, HEVCDecoderConfigurationRecord를 통해 지시(indication)되는 초기 NAL 유닛 타입(들)에 대한 NAL 유닛들의 어레이(array) 개수가 지시될 수 있다.
HEVCDecoderConfigurationRecord에서 특정 초기 NAL 유닛 타입에 대응하는 초기 NAL 유닛(들)이 하나의 (NAL 유닛들의) 어레이 내에 있는지를 지시한다. 예컨대, 표12의 예처럼, array_completeness의 값이 1이면, 주어진 타입의 모든 NAL 유닛들이 다음 어레이(following array)에 있다는 것을 지시하고, array_completeness의 값이 0이면 주어진 타입의 초기 NAL 유닛들 중에서 다음 어레이에 있지 않은 초기 NAL 유닛들이 스트림에 존재한다는 것을 지시할 수 있다.
또한, 멀티 어레이 구조가 적용되는 경우, 초기 NAL 유닛의 타입과 이 초기 NAL 유닛 타입에 속하는 NAL 유닛의 개수는 초기 NAL 유닛의 어레이별로 지시될 수 있다. 이때, 해당 NAL 유닛 타입에 해당하는 초기 NAL 유닛의 개수만큼, 순서대로 각 초기 NAL 유닛의 길이가 지시되고 초기 NAL 유닛이 전송(저장)될 수 있다.
도 2는 본 발명에 따라서 영상 정보를 저장하는 방법을 개략적으로 설명하는 순서도이다. 도 2에서 영상 정보는 도 1에서 설명한 미디어 파일 포맷의 일부 또는 전부에 대응하는 정보일 수 있으며, 디코더 설정 정보(DecorderConfigurationRecord)를 포함한다.
여기서는 설명의 편의를 위해, 영상 정보 저장 장치가 도 2의 각 단계를 수행하는 것으로 설명한다.
도 2를 참조하면, 영상 정보 저장 장치는 영상 정보를 인코딩할 수 있다(S210). 예컨대, 영상 정보 저장 장치는 영상 콘텐츠를 HEVC에 기반하여 인코딩할 수 있다. 영상 정보 저장 장치는 인코딩된 영상 콘텐츠와 디코딩에 필요한 정보를 포함하는 NAL 유닛을 생성할 수 있다.
영상 정보 저장 장치는 NAL 유닛을 디코더 설정 기록에 저장할 수 있다(S220). 디코더 설정 기록은 저장되는 NAL 유닛의 타입을 지시하는 정보를 포함할 수 있다. 이때, NAL 유닛의 타입은 VPS, SPS, PPS, SEI 등일 수 있다. 디코더 설정 기록은 HEVCDecoderConfigurationRecord일 수 있다.
디코더 설정 기록의 구체적인 내용은 앞서 도 1과 표들을 이용하여 설명한 바와 같다. 예컨대, 디코더 설정 기록은 소정의 정해진 비트 단위로 파싱될 수 있기 때문에, 신택스 요소들이 8 비트 단위가 아닌 경우에 영상 정보 저장 장치는 예비 비트를 추가하여 예비 비트와 상기 신택스 요소에 할당된 비트가 8 비트 또는 8 비트의 배수가 되도록 구성할 수도 있다.
디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장될 수 있다. 이때, NAL 유닛의 타입은 NAL 유닛에 저장되는 파라미터 세트에 대응할 수 있다.
또한, 디코더 설정 기록에는 NAL 유닛의 타입별로 각 NAL 유닛의 타입에 속하는 NAL 유닛의 개수를 지시하는 정보가 저장될 수도 있다.
실시예 2-4에서 상술한 바와 같이, 디코더 설정 기록에 나타나는 NAL 유닛 타입은 일정한 순서를 가질 수 있다. 예컨대, NAL 유닛 타입이 VPS인 NAL 유닛들이 NAL 유닛 타입이 SPS인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장될 수 있다. 또한, NAL 유닛 타입이 SPS인 NAL 유닛들이 NAL 유닛 타입이 PPS인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장될 수 있다. NAL 유닛 타입이 PPS인 NAL 유닛들은 NAL 유닛 타입이 SEI인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장될 수 있다.
또한, 디코더 설정 기록은 NAL 유닛의 타입을 지시하는 정보와 함께, 해당 NAL 유닛의 길이를 지시하는 정보를 해당 NAL 유닛과 함께 포함할 수 있다. 디코더 설정 기록 내에서 NAL 유닛들은 상술한 바와 같이, NAL 유닛의 타입별로 저장될 수 있는데, 이때 NAL 유닛을 저장하기 위해 할당되는 비트는 8 비트의 배수 단위로 할당될 수 있다.
또한, NAL 유닛을 저장하기 위해 할당되는 비트는 NAL 유닛의 길이에 기반하여 할당될 수도 있다. 예컨대, 저장 대상 NAL 유닛의 길이의 배수 단위로 할당된 비트를 이용하여 NAL 유닛이 저장될 수 있다. 혹은 특정 NAL 유닛 타입에 해당하는 NAL 유닛의 길이의 배수 단위로 할당된 비트를 이용하여 NAL 유닛이 저장될 수도 있다.
한편, NAL 유닛을 저장하기 위해 할당되는 비트는 8 비트의 배수이면서 NAL 유닛의 길이의 배수일 수도 있다.
여기서는 설명의 편의를 위해, S210 및 S220의 동작과 디코더 설정 기록의 구성을 영상 정보 저장 장치가 수행하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 각 단계의 동작은 영상 정보 저장 장치 내 개별 유닛에서 수행될 수도 있다.
도 3은 본 발명에 따라서 영상 정보를 파싱하는 방법을 개략적으로 설명하는 순서도이다. 도 3에서 영상 정보는 도 1에서 설명한 미디어 파일 포맷의 일부 또는 전부에 대응하는 정보일 수 있으며, 디코더 설정 정보(DecorderConfigurationRecord)를 포함한다.
여기서는 설명의 편의를 위해 영상 정보 파싱(parsing) 장치가 도 3의 각 단계를 수행하는 것으로 설명한다.
도 3을 참조하면, 영상 정보 파싱 장치는 디코더 설정 기록을 파싱할 수 있다(S310). 디코더 설정 기록은 파일 포맷에 속하는 정보로서, 시스템 레벨에서 파싱이 수행될 수 있다. 디코더 설정 기록을 파싱하여, 영상 정보 파싱 장치는 해당 영상 정보의 프로파일, 레벨, 포맷, 비트 뎁스 등에 관한 정보를 획득할 수 있다. 영상 정보 파싱 장치는 디코더 설정 기록에 포함된 NAL 유닛의 길이와 타입에 관한 정보를 획득할 수 있다.
또한, 본 발명에 따른 디코더 설정 기록의 경우에는 NAL 유닛의 타입을 지시하는 정보를 포함하므로, 영상 정보 파싱 장치는 디코더 설정 기록을 파싱하여, NAL 유닛의 타입을 지시하는 정보를 획득할 수 있다. 따라서, 영상 정보 파싱 장치는 시스템 레벨에서 디코더 설정 기록에 포함된 NAL 유닛의 타입이 무엇인지 판단하고, 그에 따라서 파싱을 수행할 수 있다.
파싱은 신택스 요소 및/또는 데이터(정보)의 구체적인 값을 획득하는 것을 의미할 수 있다. 디코더 설정 기록에 대한 파싱은 소정의 비트 단위로 수행될 수 있다. 예컨대, 영상 정보 파싱 장치에서 파싱을 수행하는 파서가 8 비트 파서라면 파싱은 8 비트 단위로 수행될 수 있다.
한편, 디코더 설정 기록은 앞서 도 1과 표들을 통해 설명한 바와 같다. 예컨대, 디코더 설정 기록은 NAL 유닛의 타입을 지시하는 정보와 함께, 해당 NAL 유닛의 길이를 지시하는 정보를 해당 NAL 유닛과 함께 포함할 수 있다.
디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되어 있을 수 있다. 이때, NAL 유닛의 타입은 NAL 유닛에 저장되는 파라미터 세트에 대응할 수 있다.
또한, 디코더 설정 기록에는 NAL 유닛의 타입별로 각 NAL 유닛의 타입에 속하는 NAL 유닛의 개수를 지시하는 정보가 저장되어 있을 수도 있다.
실시예 2-4에서 상술한 바와 같이, 디코더 설정 기록에 나타나는 NAL 유닛 타입은 일정한 순서를 가질 수 있다. 예컨대, NAL 유닛 타입이 VPS인 NAL 유닛들이 NAL 유닛 타입이 SPS인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장되어 있을 수 있다. 또한, NAL 유닛 타입이 SPS인 NAL 유닛들이 NAL 유닛 타입이 PPS인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장되어 있을 수 있다. NAL 유닛 타입이 PPS인 NAL 유닛들은 NAL 유닛 타입이 SEI인 NAL 유닛들보다 디코더 설정 기록 내에서 먼저 나타나도록(혹은 먼저 파싱될 수 있도록) 저장되어 있을 수 있다.
또한, 디코더 설정 기록은 NAL 유닛의 타입을 지시하는 정보와 함께, 해당 NAL 유닛의 길이를 지시하는 정보를 해당 NAL 유닛과 함께 포함하고 있을 수 있다. 디코더 설정 기록 내에서 NAL 유닛들은 상술한 바와 같이, NAL 유닛의 타입별로 저장되어 있을 수 있는데, 이때 NAL 유닛을 저장하기 위해 할당되는 비트는 8 비트의 배수 단위로 할당될 수 있다. 따라서, NAL 유닛을 파싱하기 위해 8 비트 단위 혹은 8 비트의 배수 단위로 파싱이 수행될 수 있다.
또한, NAL 유닛을 저장하기 위해 할당되는 비트는 NAL 유닛의 길이에 기반하여 할당될 수도 있다. 예컨대, 저장 대상 NAL 유닛의 길이의 배수 단위로 할당된 비트를 이용하여 NAL 유닛이 저장될 수 있다. 혹은 특정 NAL 유닛 타입에 해당하는 NAL 유닛의 길이의 배수 단위로 할당된 비트를 이용하여 NAL 유닛이 저장될 수도 있다. 따라서, NAL 유닛을 파싱하기 위해 NAL 유닛의 길이의 배수 단위로 파싱이 수행될 수도 있다.
한편, NAL 유닛을 저장하기 위해 할당된 비트는 8 비트의 배수이면서 NAL 유닛의 길이의 배수일 수도 있다. 이 경우 파싱은 8 비트의 배수이면서 NAL 유닛의 길이의 배수인 비트 수를 단위로 수행될 수도 있다.
디코더 설정 기록에 저장되어 있는 정보들은, 저장된 순서에 기반에서 차례대로 파싱될 수 있다.
영상 정보 파싱 장치는 파싱된 디코더 설정 기록에 기반하여 영상 정보를 디코딩할 수 있다(S320). 영상 정보 파싱 장치는 파싱된 디코더 설정 기록에 기반하여, 디코더 설정 기록에 대응하는 정보들을 처리하며, 디코더 설정 기록에 매치되지 않는 정보는 처리하지 않거나 인식하지 않을 수 있다.
여기서는 설명의 편의를 위해 디코딩이 파싱과 영상 정보의 복원을 포함하는 것으로 설명한다. 또한, 영상 정보의 복원은 영상 정보 파싱 장치에서 수행될 수도 있고, 영상 정보 파싱 장치에서 수행된 파싱의 결과를 기반으로 별도의 디코더에서 수행될 수도 있다.
영상 정보 파싱 장치는 파싱된 디코더 설정 기록을 기반으로, 각 NAL 유닛 타입별로 NAL 유닛들을 파싱할 수 있다. 디코더 설정 기록에서 NAL 유닛의 어레이가 복수인 경우에는, 각 어레이별로 NAL 유닛의 타입에 따라서 NAL 유닛을 파싱할 수도 있다.
도 2와 도 3에서는 NAL 유닛으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 디코더 설정 기록에 포함된 NAL 유닛은 앞서 설명한 바와 같이 초기 NAL 유닛일 수 있다.
도 4는 본 발명에 따른 영상 정보 저장 장치의 구성을 개략적으로 설명하는 블록도이다. 도 4에서 영상 정보는 도 1에서 설명한 미디어 파일 포맷의 일부 또는 전부에 대응하는 정보일 수 있으며, 디코더 설정 정보(DecorderConfigurationRecord)를 포함한다.
도 4를 참조하면, 영상 정보 저장 장치(400)는 인코딩부(410)와 저장부(420)를 포함한다.
인코딩부(410)는 입력된 영상 정보를 인코딩할 수 있다. 예컨대, 인코딩부(410)는 HEVC를 지원하는 방법을 이용하여 영상 정보를 인코딩 할 수 있다. 인코딩부(410)는 또한 인코딩된 영상 콘텐츠와 디코딩에 필요한 정보를 포함하는 NAL 유닛을 생성할 할 있다.
저장부(420)는 생성된 NAL 유닛을 디코더 설정 기록에 저장할 수 있다. 디코더 설정 기록은 저장되는 NAL 유닛의 타입을 지시하는 정보를 포함할 수 있다. 이때, NAL 유닛의 타입은 VPS, SPS, PPS, SEI 등일 수 있다. 디코더 설정 기록의 구체적인 내용은 앞서 설명한 바와 같다.
도 5는 본 발명에 따른 영상 정보 파싱 장치의 구성을 개략적으로 설명하는 블록도이다. 도 5에서 영상 정보는 도 1에서 설명한 미디어 파일 포맷의 일부 또는 전부에 대응하는 정보일 수 있으며, 디코더 설정 정보(DecorderConfigurationRecord)를 포함한다.
도 5를 참조하면, 영상 정보 파싱 장치(500)는 파싱부(510)와 디코딩부(520)를 포함한다.
파싱부(510)는 파일 포맷 내 디코더 설정 기록을 파싱할 수 있다. 파싱부(510)는 시스템 레벨에서 디코더 설정 기록을 파싱할 수 있다. 디코더 설정 기록은 NAL 유닛을 포함하며, 또한 해당 NAL 유닛의 타입을 지시하는 정보를 포함한다.
파싱부(510)는 디코더 설정 기록을 파싱하여, 해당 영상 정보의 프로파일, 레벨, 포맷, 비트 뎁스 등에 관한 정보를 획득할 수 있다. 또한, 파싱부(510)는 디코더 설정 기록에 포함된 NAL 유닛의 길이와 타입에 관한 정보를 획득할 수 있다.
디코더 설정 기록에 대해서는 앞서 설명한 바와 동일하다.
디코딩부(520)는 디코더 설정 기록에 기반하여 영상 정보를 디코딩할 수 있다. 디코딩부(520)는 파싱된 디코더 설정 기록에 기반하여, 디코더 설정 기록에 대응하는 정보들을 처리하며, 디코더 설정 기록에 매치되지 않는 정보는 처리하지 않거나 인식하지 않을 수 있다.
도 5에서는 설명의 편의를 위해 디코딩이 파싱과 영상 정보의 복원을 포함하는 것으로 설명하였다. 또한, 영상 정보의 복원은 영상 정보 파싱 장치(500) 내 디코딩부(520)에서 수행될 수도 있고, 영상 정보 파싱 장치(500)에서 수행된 파싱의 결과를 기반으로 영상 정보 파싱 장치(500)와는 별도의 디코더에서 수행될 수도 있다.

한편, HEVCDecoderConfigurationRecord가 디코더의 초기 설정을 특정하는 정보이므로, 본 명세서에서는 HEVCDecoderConfigurationRecord에서 전송되는 NAL 유닛을 초기 NAL 유닛이라고 하였으나, 설명의 편의를 위해 ‘초기 NAL 유닛’과 ‘NAL 유닛’의 두 표현이 혼용되어 있음에 주의한다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 영상 정보를 인코딩 하는 단계; 및
    인코딩된 영상 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 디코더 설정 기록에 저장하는 단계를 포함하며,
    상기 디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되는 것을 특징으로 하는 영상 정보 저장 방법.
  2. 제1항에 있어서, 상기 NAL 유닛의 타입은 NAL 유닛에 저장되는 파라미터 세트에 대응하는 것을 특징으로 하는 영상 정보 저장 방법.
  3. 제1항에 있어서, 상기 NAL 유닛들은 상기 NAL 유닛들의 타입을 지시하는 정보와 함께 저장되는 것을 특징으로 하는 영상 정보 저장 방법.
  4. 제1항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입별 NAL 유닛의 개수를 지시하는 정보가 저장되는 것을 특징으로 하는 영상 정보 저장 방법.
  5. 제1항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입이 시퀀스 파라미터 세트인 NAL 유닛들이 먼저 나타나고, 이어서 NAL 유닛의 타입이 픽처 파라미터 세트인 NAL 유닛들이 나타나도록 NAL 유닛이 저장되는 것을 특징으로 하는 영상 정보 저장 방법.
  6. 제1항에 있어서, 상기 디코더 설정 기록에서 각 NAL 유닛들의 저장을 위한 비트는 8 비트의 배수 단위로 할당되는 것을 특징으로 하는 영상 정보 저장 방법.
  7. 제1항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 길이에 관한 정보가 포함되며,
    각 NAL 유닛들의 저장을 위한 비트는 상기 NAL 유닛의 길이에 기반하여 할당되는 것을 특징으로 하는 영상 정보 저장 방법.
  8. 디코더 설정 기록을 파싱하는 단계; 및
    상기 파싱된 디코더 설정 기록을 기반으로, NAL 유닛을 파싱하는 단계를 포함하며,
    상기 디코더설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 방법.
  9. 제8항에 있어서, 상기 NAL 유닛의 타입은 NAL 유닛에 저장되는 파라미터 세트에 대응하는 것을 특징으로 하는 영상 정보 파싱 방법.
  10. 제8항에 있어서, 상기 NAL 유닛들은 상기 NAL 유닛들의 타입을 지시하는 정보와 함께 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 방법.
  11. 제8항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입별 NAL 유닛의 개수를 지시하는 정보가 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 방법.
  12. 제8항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입이 시퀀스 파라미터 세트인 NAL 유닛들이 먼저 나타나고, 이어서 NAL 유닛의 타입이 픽처 파라미터 세트인 NAL 유닛들이 나타나도록 NAL 유닛이 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 방법.
  13. 제8항에 있어서, 각 NAL 유닛들은 8 비트의 배수 단위로 할당된 비트를 이용하여 상기 디코더 설정 기록에 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 방법.
  14. 제8항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 길이에 관한 정보가 포함되어 있으며,
    각 NAL 유닛들은 상기 NAL 유닛의 길이에 기반하여 할당된 비트를 이용하여 저장된 것을 특징으로 하는 영상 정보 파싱 방법.
  15. 영상 정보를 인코딩 하는 인코딩부; 및
    인코딩된 영상 정보를 포함하는 NAL(network Abstracation Layer) 유닛을 디코더 설정 기록에 저장하는 저장부를 포함하며,
    상기 디코더 설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되는 것을 특징으로 하는 영상 정보 저장 장치.
  16. 제15항에 있어서, 상기 NAL 유닛들은 상기 NAL 유닛들의 타입을 지시하는 정보와 함께 저장되는 것을 특징으로 하는 영상 정보 저장 장치.
  17. 제16항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입별 NAL 유닛의 개수를 지시하는 정보가 저장되는 것을 특징으로 하는 영상 정보 저장 장치.
  18. 디코더 설정 기록을 파싱하는 파싱부; 및
    상기 파싱된 디코더 설정 기록을 기반으로 NAL 유닛을 파싱하는 디코딩부를 포함하며,
    상기 디코더설정 기록에는 NAL 유닛의 타입별로 NAL 유닛들이 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 장치.
  19. 제18항에 있어서, 상기 NAL 유닛들은 상기 NAL 유닛들의 타입을 지시하는 정보와 함께 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 장치.
  20. 제18항에 있어서, 상기 디코더 설정 기록에는 NAL 유닛의 타입별 NAL 유닛의 개수를 지시하는 정보가 저장되어 있는 것을 특징으로 하는 영상 정보 파싱 장치.
PCT/KR2013/003869 2012-05-04 2013-05-03 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치 WO2013165215A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/398,559 US10097841B2 (en) 2012-05-04 2013-05-03 Method for storing image data, method for parsing image data, and an apparatus for using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261642465P 2012-05-04 2012-05-04
US61/642,465 2012-05-04

Publications (1)

Publication Number Publication Date
WO2013165215A1 true WO2013165215A1 (ko) 2013-11-07

Family

ID=49514553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003869 WO2013165215A1 (ko) 2012-05-04 2013-05-03 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치

Country Status (2)

Country Link
US (1) US10097841B2 (ko)
WO (1) WO2013165215A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835993A (zh) * 2020-09-16 2020-10-27 深圳市阿达视高新技术有限公司 防损坏视频存储方法、装置、设备和介质
WO2022131870A1 (ko) * 2020-12-17 2022-06-23 엘지전자 주식회사 Nal 유닛 어레이 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법
WO2022164024A1 (ko) * 2021-01-26 2022-08-04 엘지전자 주식회사 미디어 파일 처리 방법 및 그 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584792B2 (en) * 2013-01-04 2017-02-28 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
US20160156915A1 (en) * 2013-07-18 2016-06-02 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus using video format parameter delivery
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
TWI559753B (zh) * 2016-03-16 2016-11-21 晶睿通訊股份有限公司 傳輸隨選影音檔案的方法
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US11399188B2 (en) * 2020-01-01 2022-07-26 Tencent America LLC Method for mixed NAL unit type support in a coded picture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
KR20070074503A (ko) * 2006-01-09 2007-07-12 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
US20100195738A1 (en) * 2007-04-18 2010-08-05 Lihua Zhu Coding systems
US20110064146A1 (en) * 2009-09-16 2011-03-17 Qualcomm Incorporated Media extractor tracks for file format track selection
WO2011159602A1 (en) * 2010-06-14 2011-12-22 Thomson Licensing Method and apparatus for encapsulating coded multi-component video

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
CN1765130A (zh) * 2003-03-25 2006-04-26 松下电器产业株式会社 数据发送装置
KR20050113501A (ko) * 2004-05-29 2005-12-02 삼성전자주식회사 에이치 264 비디오 디코더를 위한 구문 분석기
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US7061410B1 (en) * 2005-07-18 2006-06-13 Lsi Logic Corporation Method and/or apparatus for transcoding between H.264 CABAC and CAVLC entropy coding modes
US20070189732A1 (en) * 2006-02-10 2007-08-16 Sai Pothana System and method for reconstructing MPEG-2 start codes from AVC data
WO2008023968A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US8229274B2 (en) * 2006-11-17 2012-07-24 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US20100021142A1 (en) * 2006-12-11 2010-01-28 Panasonic Corporation Moving picture decoding device, semiconductor device, video device, and moving picture decoding method
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR20090088772A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
US20110280314A1 (en) * 2010-05-12 2011-11-17 Texas Instruments Incorporated Slice encoding and decoding processors, circuits, devices, systems and processes
US20130083845A1 (en) * 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
US9143802B2 (en) * 2011-10-31 2015-09-22 Qualcomm Incorporated Fragmented parameter set for video coding
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US20130195171A1 (en) * 2012-01-30 2013-08-01 Qualcomm Incorporated Method of coding video and storing video content
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
KR20070074503A (ko) * 2006-01-09 2007-07-12 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
US20100195738A1 (en) * 2007-04-18 2010-08-05 Lihua Zhu Coding systems
US20110064146A1 (en) * 2009-09-16 2011-03-17 Qualcomm Incorporated Media extractor tracks for file format track selection
WO2011159602A1 (en) * 2010-06-14 2011-12-22 Thomson Licensing Method and apparatus for encapsulating coded multi-component video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835993A (zh) * 2020-09-16 2020-10-27 深圳市阿达视高新技术有限公司 防损坏视频存储方法、装置、设备和介质
WO2022131870A1 (ko) * 2020-12-17 2022-06-23 엘지전자 주식회사 Nal 유닛 어레이 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법
WO2022164024A1 (ko) * 2021-01-26 2022-08-04 엘지전자 주식회사 미디어 파일 처리 방법 및 그 장치

Also Published As

Publication number Publication date
US20150085917A1 (en) 2015-03-26
US10097841B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
WO2013165215A1 (ko) 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
KR102028527B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US8428144B2 (en) Method and apparatus for decoding/encoding of a video signal
KR102115323B1 (ko) 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
WO2015102044A1 (en) Signaling and derivation of decoded picture buffer parameters
TW201347555A (zh) 編碼方法及編碼裝置
EP3972265A1 (en) Decoder configuration record in coded video
US20130272371A1 (en) Extension of hevc nal unit syntax structure
US20230054567A1 (en) Video coding in relation to subpictures
US20230269384A1 (en) Roll sample group in vvc video coding
CN109600616B (zh) 一种基于h.264视频压缩标准的码流封装方法
KR20220142957A (ko) 서브픽처 엔티티 그룹에 대한 레벨 표시자
CN116601963A (zh) 生成/接收包括nal单元阵列信息的媒体文件的方法和装置及发送媒体文件的方法
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
US12143611B2 (en) Subpicture entity group signaling in coded video
US20230336751A1 (en) Method and apparatus for generating/receiving media file which signals output layer set information, and computer-readable recording medium storing media file
CN116235502A (zh) 生成/接收包括输出层集合信息的媒体文件的方法和设备及发送媒体文件的方法
CN116325766A (zh) 生成/接收包含层信息的媒体文件的方法和设备及媒体文件传送方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13784485

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14398559

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13784485

Country of ref document: EP

Kind code of ref document: A1