Nothing Special   »   [go: up one dir, main page]

WO2016111199A1 - 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体 - Google Patents

画像処理装置、画像処理方法、およびプログラム、並びに記録媒体 Download PDF

Info

Publication number
WO2016111199A1
WO2016111199A1 PCT/JP2015/086202 JP2015086202W WO2016111199A1 WO 2016111199 A1 WO2016111199 A1 WO 2016111199A1 JP 2015086202 W JP2015086202 W JP 2015086202W WO 2016111199 A1 WO2016111199 A1 WO 2016111199A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
unit
information
image processing
encoded data
Prior art date
Application number
PCT/JP2015/086202
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/108,818 priority Critical patent/US10390047B2/en
Priority to EP15874421.9A priority patent/EP3244615A4/en
Priority to CN201580003681.XA priority patent/CN106105221B/zh
Priority to JP2016536970A priority patent/JP6690536B2/ja
Publication of WO2016111199A1 publication Critical patent/WO2016111199A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, a program, and a recording medium, and in particular, an image processing apparatus, an image processing method, a program, and a recording in which the granularity of trick play can be easily controlled. It relates to the medium.
  • BD Blu-ray (registered trademark) Disc
  • AVC Advanced Video Coding
  • ES Simple Stream
  • the playback device can easily perform trick play such as fast forward playback and rewind playback by using the GOP structure map.
  • the playback device recognizes I-pictures in the GOP based on the type of each picture constituting the GOP described in the GOP structure map, and parses only the I-pictures to facilitate fast-forward playback or winding. It is possible to play back.
  • next-generation BD standard BDA (Blu-ray (registered trademark) Disc Association).
  • HEVC high efficiency video coding
  • the present disclosure has been made in view of such circumstances, and enables easy control of trick play granularity.
  • the image processing apparatus is an image processing apparatus including a setting unit configured to set additional information of encoded data of the picture including reference layer information representing a layer of reference relation of the picture.
  • the image processing method and program of the first aspect of the present disclosure correspond to the image processing device of the first aspect of the present disclosure.
  • additional information of coded data of the picture including reference layer information representing a layer of reference relationship of the picture is set.
  • the image processing apparatus selects a picture to be reproduced based on reference layer information representing a layer of a reference relation of the picture, which is included in additional information of encoded data of the picture.
  • An image processing apparatus comprising:
  • the image processing method and program of the second aspect of the present disclosure correspond to the image processing device of the second aspect of the present disclosure.
  • a picture to be reproduced is selected based on reference layer information representing a layer of a reference relation of the picture, which is included in additional information of encoded data of the picture.
  • the recording medium records a coded stream including additional information of coded data of the picture including reference layer information representing a layer of reference relationship of the picture, and the coded data.
  • a recording medium that is attached to and reproduced from an information processing apparatus, and causes the information processing apparatus that has acquired the encoded stream to select a picture to be reproduced based on the reference layer information included in the additional information. It is a medium.
  • a coded stream including encoded data of the encoded data of the picture including reference layer information representing a layer of the reference relationship of the picture and the encoded data is recorded, and information processing is performed. It is attached to the device and played back.
  • the granularity of trick play can be easily controlled.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a recording and reproduction system to which the present disclosure is applied. It is a figure which shows the example of the directory structure of the file recorded on an optical disk. It is a block diagram showing an example of composition of a file generation part. The structural example of AU of a head picture is shown. It is a figure which shows the example of the syntax of GOP structure map. It is a figure explaining reference layer information. It is a block diagram which shows the structural example of the imaging
  • FIG. It is a flowchart explaining the detail of the encoding process of FIG. It is a block diagram showing an example of composition of a fast forward reproduction part. It is a block diagram which shows the structural example of the decoding part of FIG. It is a flowchart explaining the fast forward reproduction process of the fast forward reproduction part of FIG. It is a flowchart explaining the detail of the decoding process of FIG. It is a block diagram showing the example of composition of the hardware of a computer.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a recording and reproduction system to which the present disclosure is applied.
  • the recording and reproducing system of FIG. 1 includes a recording device 1, a reproducing device 2, and a display device 3.
  • the playback device 2 and the display device 3 are connected via an HDMI (registered trademark) (High Definition Multimedia Interface) cable 4.
  • the playback device 2 and the display device 3 may be connected via a cable of another standard, or may be connected via wireless communication.
  • the recording device 1 records content such as video and audio, and the reproduction device 2 reproduces the content. Provision of content from the recording device 1 to the reproducing device 2 is performed using an optical disc 11 (recording medium) mounted on the recording device 1 and the reproducing device 2 (information processing device).
  • the optical disc 11 is a disc on which content is recorded in a format according to a BD-ROM (Read Only Memory) format. Therefore, the recording device 1 is, for example, a device used by the content author.
  • the optical disc 11 may be a disc on which content is recorded in a format conforming to another format such as BD-R, -RE. Also, provision of content from the recording device 1 to the reproducing device 2 may be performed using removable media other than an optical disk, such as a memory card equipped with a flash memory.
  • optical disk 11 on which the content is recorded by the recording device 1 is appropriately described as being provided to the reproduction device 2, in reality, the optical disk is copied based on the master board on which the content is recorded by the recording device 1. An optical disk 11 which is one of them is provided to the reproduction apparatus 2.
  • Video data, audio data, and the like are input to the recording device 1 (image processing device).
  • the recording device 1 encodes these data to generate ES, and multiplexes the data to generate an AV stream which is one TS (Transport Stream).
  • the recording device 1 records the generated AV stream and the like on the optical disc 11.
  • the playback device 2 (image processing device) drives the drive and reads the AV stream recorded on the optical disc 11.
  • the playback device 2 separates the AV stream into a video stream that is ES of video data and an audio stream that is ES of audio data, and decodes the AV stream.
  • the playback device 2 outputs the video data and audio data obtained by decoding to the display device 3.
  • the display device 3 receives the video data transmitted from the reproduction device 2 and displays a video on a built-in monitor based on the video data. Further, the display device 3 receives audio data transmitted from the reproduction device 2 and outputs audio from a built-in speaker based on the audio data.
  • FIG. 2 is a diagram showing an example of the directory structure of files recorded on the optical disk 11 of FIG.
  • Each file recorded on the optical disk 11 is hierarchically managed by the directory structure.
  • One root directory is created on the optical disk 11.
  • the BDMV directory is placed under the root directory.
  • an Index file which is a file to which the name "Index.bdmv” is set and a Movie Object file which is a file to which the name "MovieObject.bdmv” is set are stored.
  • Index file for example, a list of title numbers recorded on the optical disc 11, and types and numbers of objects to be executed corresponding to the title numbers are described.
  • objects There are two types of objects: movie objects (Movie Object) and BD-J objects (BD-J Object).
  • a movie object is an object in which a navigation command, which is a command used for playing a PlayList, is described.
  • the BD-J object is an object in which a BD-J application is described. Movie objects are described in the Movie Object file.
  • BDMV directory Under the BDMV directory, a PLAYLIST directory, a CLIPINF directory, a STREAM directory, etc. are also provided.
  • a PlayList file in which a PlayList described as playback management information for managing playback of an AV stream is stored.
  • a name combining a 5-digit number and an extension ".mpls” is set.
  • the file names “00000. mpls”, “00002. mpls”, and “00003. mpls” are respectively set in the three PlayList files in FIG.
  • Clip Information on an AV stream of a predetermined unit is stored as a Clip Information file in the CLIPINF directory.
  • a name combining a 5-digit number and an extension ".clpi” is set.
  • the file names “01000.clpi”, “02000.clpi”, and “03000.clpi” are respectively set in the three Clip Information files in FIG.
  • AV streams of predetermined units are stored as stream files.
  • a name combining a 5-digit number and an extension ".m2ts” is set.
  • the file names “01000.m2ts”, “02000.m2ts”, and “03000.m2ts” are respectively set in the three stream files in FIG.
  • the Clip Information file and the stream file in which the same five-digit number is set as the file name are files constituting one Clip.
  • the Clip Information file of "01000.clpi” is used, and when playing the stream file of "02000.m2ts", the Clip Information file of "02000.clpi" is used.
  • FIG. 3 is a block diagram showing a configuration example of a file generation unit for generating a stream file in the recording device 1 of FIG.
  • the file generation unit 50 in FIG. 3 includes a setting unit 51, a video encoding unit 52, a network abstraction layer (NAL) conversion unit 53, a multiplexing unit 54, a voice encoding unit 55, and a file conversion unit 56.
  • NAL network abstraction layer
  • the setting unit 51 of the file generation unit 50 sets parameter sets such as SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI (additional information) and the like.
  • Reference layer information which is a number representing a reference relationship layer (sub-layer) of all the pictures constituting the GOP including the leading picture in one of the SEI of the leading picture of the GOP (hereinafter referred to as the leading picture)
  • a GOP structure map including is stored.
  • the setting unit 51 supplies the set parameter set to the video encoding unit 52 and the NALization unit 53.
  • Video data is input to the video encoding unit 52 in units of pictures.
  • the video encoding unit 52 encodes each picture of the input video data in units of CU (Coding Unit) according to the HEVC method. At this time, the parameter set supplied from the setting unit 51 is used as needed.
  • the video encoding unit 52 supplies, to the NALization unit 53, encoded data in units of slices of each picture obtained as a result of encoding.
  • the NAL unit 53 NALs the parameter set supplied from the setting unit 51 and the encoded data supplied from the video encoding unit 52 to generate an NAL unit including a NAL header and a data unit.
  • the NAL unit 53 supplies the generated NAL unit to the multiplexing unit 54.
  • the multiplexing unit 54 groups the NAL units supplied from the NAL generation unit 53 in units of pictures to generate an AU (Access Unit).
  • the multiplexing unit 54 supplies a video stream consisting of one or more AUs to the filing unit 56.
  • Audio data is input to the audio encoding unit 55.
  • the audio encoding unit 55 encodes the audio data, and supplies the audio stream obtained as a result to the filing unit 56.
  • the filing unit 56 multiplexes the video stream (coded stream) supplied from the multiplexing unit 54 and the audio stream supplied from the audio coding unit 55 to generate an AV stream.
  • the file conversion unit 56 converts the generated AV stream into a file to generate and output a stream file. This stream file is recorded on the optical disc 11.
  • FIG. 4 shows a configuration example of an AU of the leading picture.
  • one AU delimiter indicating the boundary of the AU is arranged at the beginning of the AU of the leading picture.
  • the NAL unit of one SPS, the NAL unit of one or more PPSs, the NAL unit of one or more SEIs, and the NAL unit of encoded data of one or more slice units are arranged in order. Thereafter, filler data is arranged as needed. Then, if the first picture is the last picture in the sequence, an End of sequence indicating the end of the sequence is arranged, and if the first picture is the last picture of the video stream, the end of stream indicating the end of the video stream Be placed.
  • a GOP structure map including reference layer information is stored in the NAL unit of SEI.
  • FIG. 5 is a diagram showing an example of the syntax of the GOP structure map.
  • number_of_pictures_in_GOP which is the number of pictures of the corresponding GOP.
  • 5-bit shifting_bits in which 1 is set and picture_structure, temporal_id, and picture_type of the picture are described for each picture constituting the corresponding GOP.
  • Picture_structure is a 3-bit value representing a frame structure when displaying a picture.
  • the picture_structure indicates, for example, whether the frame rate at the time of display is the same as the frame rate of the video stream or twice or three times the frame rate of the video stream.
  • Temporal_id is a 3-bit value obtained by subtracting 1 from nuh_temporal_id_plus1 representing reference layer information of the picture, which is included in the NAL header of the coded data of the picture.
  • the reference layer information is information that is not adopted in the AVC method of the BD standard, but is adopted in the SVC (Scalable Video Coding Extension) method or the HEVC method.
  • Picture_type (picture type information) is a 4-bit value representing the type of picture. For example, if the picture type is I picture, it is 1000 b, if it is a reference B picture, it is 1010 b; if it is a non-reference B picture, it is 0010 b;
  • FIG. 6 is a diagram for explaining reference layer information.
  • the number of layers in the reference relationship is three.
  • the horizontal axis represents Display Order
  • the vertical axis represents reference layer information.
  • the squares represent pictures, the alphabets in the squares represent picture types, and the numbers represent reference layer information.
  • the arrow represents a reference relation in which the picture represented by the square at the tip of the arrow refers to the original picture of the arrow.
  • a picture can not refer to a picture of reference layer information that is larger than its own reference layer information.
  • reference layer information of one I picture and two P pictures out of nine pictures constituting a GOP is zero. Also, reference layer information of two B pictures is 1, and reference layer information of four B pictures is 2.
  • one I picture and two P pictures in which reference layer information is 0 can not refer to a B picture in which reference layer information is 1 or 2. Also, two B pictures whose reference layer information is 1 can not refer to four B pictures whose reference layer information is two.
  • the playback device 2 can thin out and decode a picture whose reference layer information is larger than the threshold by selecting and decoding a picture whose reference layer information is equal to or less than the threshold. For example, the playback device 2 can thin out and decode six B pictures whose reference layer information is larger than 0 by selecting and decoding a picture whose reference layer information is 0 or less. Also, the playback device 2 can thin out and decode four B pictures whose reference layer information is larger than 1 by selecting and decoding a picture whose reference layer information is 1 or less. As a result, trick play can be performed.
  • the reproduction device 2 can easily control the granularity of the trick play by changing the threshold value.
  • the playback device when performing trick play based on picture_type, the playback device can only select and play only I pictures that do not refer to other pictures because the reference relationship is unknown.
  • reference layer information is collectively described in a GOP structure map stored in SEI of the leading picture for one GOP including the leading picture. Ru.
  • the playback device 2 can acquire the reference layer information of all the pictures constituting the GOP only by parsing the GOP structure map. Therefore, the playback device 2 parses and decodes only the AU of the picture whose reference layer information is equal to or less than the threshold among the pictures other than the leading picture in the GOP based on the acquired reference layer information. It is easy to do trick play.
  • FIG. 7 is a block diagram showing a configuration example of the video encoding unit 52 of FIG.
  • the video encoding unit 52 of FIG. 7 includes an A / D conversion unit 71, a screen rearrangement buffer 72, an operation unit 73, an orthogonal conversion unit 74, a quantization unit 75, a lossless encoding unit 76, an accumulation buffer 77, and an inverse quantization.
  • a unit 79, an inverse orthogonal transform unit 80, and an addition unit 81 are included.
  • the video encoding unit 52 includes a filter 82, a frame memory 85, a switch 86, an intra prediction unit 87, a motion prediction / compensation unit 89, a predicted image selection unit 92, and a rate control unit 93.
  • the A / D conversion unit 71 of the video encoding unit 52 A / D converts the input analog signal of each picture, and outputs the digital signal of each picture after conversion to the screen rearrangement buffer 72 for storage.
  • the screen rearrangement buffer 72 rearranges the pictures in the stored display order into the order for encoding in accordance with the GOP structure.
  • the screen rearrangement buffer 72 outputs the rearranged picture to the arithmetic unit 73, the intra prediction unit 87, and the motion prediction / compensation unit 89 as a current picture.
  • the calculation unit 73 performs coding in CU units by subtracting the predicted image supplied from the predicted image selection unit 92 from the current picture supplied from the screen rearrangement buffer 72.
  • the computing unit 73 outputs the resulting picture to the orthogonal transform unit 74 as residual information.
  • the calculation unit 73 outputs the current picture read from the screen rearrangement buffer 72 to the orthogonal transformation unit 74 as residual information as it is.
  • the orthogonal transformation unit 74 orthogonally transforms the residual information from the computation unit 73 in units of TU (Transform Unit).
  • the orthogonal transformation unit 74 supplies the orthogonal transformation coefficient obtained as a result of the orthogonal transformation to the quantization unit 75.
  • the quantization unit 75 performs quantization on the orthogonal transformation coefficient supplied from the orthogonal transformation unit 74.
  • the quantization unit 75 supplies the quantized orthogonal transformation coefficient to the lossless encoding unit 76.
  • the lossless encoding unit 76 acquires, from the intra prediction unit 87, intra prediction mode information indicating the optimal intra prediction mode. Further, the lossless encoding unit 76 acquires, from the motion prediction / compensation unit 89, inter prediction mode information indicating the optimal inter prediction mode, reference picture identification information for identifying a reference picture, motion vector information, and the like. Furthermore, the lossless encoding unit 76 acquires offset filter information related to adaptive offset filter processing from the filter 82.
  • the lossless coding unit 76 performs variable length coding (for example, Context-Adaptive Variable Length Coding (CAVLC) or the like), arithmetic coding (for example, for example) on the quantized orthogonal transformation coefficient supplied from the quantization unit 75.
  • Variable length coding for example, Context-Adaptive Variable Length Coding (CAVLC) or the like
  • arithmetic coding for example, for example
  • Lossless coding such as CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the lossless encoding unit 76 losslessly encodes intra prediction mode information or inter prediction mode information, motion vector information, reference picture identification information, offset filter information, and the like as encoding information related to encoding.
  • the lossless encoding unit 76 arranges the lossless encoded encoded information and the like in a slice header and the like in units of slices.
  • the lossless encoding unit 76 adds a slice header to the lossless encoded orthogonal transform coefficient in slice units, and supplies the result to the accumulation buffer 77 as encoded data in slice units.
  • the accumulation buffer 77 temporarily stores the slice unit encoded data supplied from the lossless encoding unit 76. Further, the accumulation buffer 77 supplies the stored encoded data in slice units to the NALization unit 53 in FIG.
  • the quantized orthogonal transformation coefficient output from the quantization unit 75 is also input to the inverse quantization unit 79.
  • the inverse quantization unit 79 performs inverse quantization on the orthogonal transformation coefficient quantized by the quantization unit 75 by a method corresponding to the quantization method in the quantization unit 75.
  • the inverse quantization unit 79 supplies the orthogonal transformation coefficient obtained as a result of the inverse quantization to the inverse orthogonal transformation unit 80.
  • the inverse orthogonal transformation unit 80 performs inverse orthogonal transformation on the orthogonal transformation coefficient supplied from the inverse quantization unit 79 on a TU basis by a method corresponding to the orthogonal transformation method in the orthogonal transformation unit 74.
  • the inverse orthogonal transform unit 80 supplies the residual information obtained as a result to the addition unit 81.
  • the addition unit 81 locally decodes the current picture in CU units by adding the residual information supplied from the inverse orthogonal transform unit 80 and the prediction image supplied from the prediction image selection unit 92. When the prediction image is not supplied from the prediction image selection unit 92, the addition unit 81 sets the residual information supplied from the inverse orthogonal transformation unit 80 as the decoding result. The addition unit 81 supplies the locally decoded current picture to the frame memory 85. Also, the adding unit 81 supplies the current picture, in which all the regions have been decoded, to the filter 82 as a coded picture.
  • the filter 82 performs a filtering process on the encoded picture supplied from the adding unit 81. Specifically, the filter 82 sequentially performs deblocking filter processing and adaptive offset filter (SAO (Sample adaptive offset)) processing. The filter 82 supplies the filtered encoded picture to the frame memory 85. In addition, the filter 82 supplies the lossless encoding unit 76 with information indicating the type and the offset of the performed adaptive offset filter processing as the offset filter information.
  • SAO sample adaptive offset
  • the frame memory 85 stores the current picture supplied from the adding unit 81 and the encoded picture supplied from the filter 82.
  • the pixel adjacent to the current block which is a processing target PU (Prediction Unit) of the current picture is supplied to the intra prediction unit 87 via the switch 86 as a peripheral pixel.
  • the coded picture is output to the motion prediction / compensation unit 89 via the switch 86 as a reference picture candidate.
  • the intra prediction unit 87 performs, for the current block, intra prediction processing in all candidate intra prediction modes using the neighboring pixels read from the frame memory 85 via the switch 86.
  • the intra prediction unit 87 calculates the cost function for all candidate intra prediction modes based on the current picture read from the screen rearrangement buffer 72 and the predicted image generated as a result of the intra prediction process. Calculate a value (details will be described later). Then, the intra prediction unit 87 determines the intra prediction mode with the smallest cost function value as the optimal intra prediction mode.
  • the intra prediction unit 87 supplies the predicted image generated in the optimal intra prediction mode and the corresponding cost function value to the predicted image selection unit 92.
  • the intra prediction unit 87 supplies the intra prediction mode information to the lossless coding unit 76 when notified of the selection of the predicted image generated in the optimal intra prediction mode from the predicted image selection unit 92.
  • the cost function value is also referred to as RD (Rate Distortion) cost. It is calculated based on the method of High Complexity mode or Low Complexity mode as defined in JM (Joint Model) which is reference software in the H.264 / AVC system. H. Reference software in the H.264 / AVC format is published at http://iphome.hhi.de/suehring/tml/index.htm.
  • the process is tentatively performed for all candidate prediction modes, and a cost function represented by the following equation (1) A value is calculated for each prediction mode.
  • D is a difference (distortion) between an original image and a decoded image
  • R is a generated code amount including up to orthogonal transform coefficients
  • ⁇ is a Lagrange undetermined multiplier given as a function of the quantization parameter QP.
  • D is a difference (distortion) between an original image and a predicted image
  • Header_Bit is a code amount of encoded information
  • QPtoQuant is a function given as a function of a quantization parameter QP.
  • the motion prediction / compensation unit 89 performs motion prediction / compensation processing on all candidate inter prediction modes for the current block using the reference picture candidate. Specifically, the motion prediction / compensation unit 89 is all candidates based on the current picture from the screen rearrangement buffer 72 and the reference picture candidate read from the frame memory 85 via the switch 86. The motion vector of the current block in inter prediction mode is detected. The inter prediction mode is a mode that represents the size of the current block. The motion prediction / compensation unit 89 performs a compensation process on the reference picture candidate based on the detected motion vector, and generates a predicted image.
  • the motion prediction / compensation unit 89 also calculates cost function values for all candidate inter prediction modes and reference pictures based on the current picture and the prediction image read from the screen rearrangement buffer 72. .
  • the motion prediction / compensation unit 89 determines the inter prediction mode with the smallest cost function value as the optimal inter prediction mode, and determines the reference picture candidate as the reference picture. Then, the motion prediction / compensation unit 89 supplies the minimum value of the cost function value and the corresponding prediction image to the prediction image selection unit 92.
  • the motion prediction / compensation unit 89 When the prediction of the prediction image generated in the optimal inter prediction mode is notified from the prediction image selection unit 92, the motion prediction / compensation unit 89 generates motion vector information representing a motion vector corresponding to the prediction image. Then, the motion prediction / compensation unit 89 supplies the inter prediction mode information, the motion vector information, and the reference picture identification information to the lossless encoding unit 76.
  • the predicted image selection unit 92 selects one of the optimal intra prediction mode and the optimal inter prediction mode with a smaller corresponding cost function value. To be the optimal prediction mode. Then, the prediction image selection unit 92 supplies the prediction image of the optimal prediction mode to the calculation unit 73 and the addition unit 81. Also, the predicted image selection unit 92 notifies the intra prediction unit 87 or the motion prediction / compensation unit 89 of the selection of the predicted image in the optimal prediction mode.
  • the rate control unit 93 controls the rate of the quantization operation of the quantization unit 75 based on the encoded data accumulated in the accumulation buffer 77 so that an overflow or an underflow does not occur.
  • FIG. 8 is a flowchart for explaining stream file generation processing of the file generation unit 50 of FIG.
  • step S11 of FIG. 8 the setting unit 51 of the file generation unit 50 sets a parameter set including the SEI of the leading picture in which the GOP structure map is stored.
  • the setting unit 51 supplies the set parameter set to the video encoding unit 52 and the NALization unit 53.
  • step S12 the video encoding unit 52 performs encoding processing of encoding each picture of video data input from the outside in CU units according to the HEVC method. Details of this encoding process will be described with reference to FIGS. 9 and 10 described later.
  • step S13 the NAL unit 53 NALs the parameter set supplied from the setting unit 51 and the encoded data supplied from the video encoding unit 52 to generate a NAL unit.
  • the NAL unit 53 supplies the generated NAL unit to the multiplexing unit 54.
  • step S14 the multiplexing unit 54 combines the NAL units supplied from the NAL processing unit 53 in units of pictures to generate AUs, and generates a video stream composed of one or more AUs.
  • the multiplexing unit 54 supplies the video stream to the filing unit 56.
  • step S15 the audio encoding unit 55 encodes the input audio data, and supplies the audio stream obtained as a result to the filing unit 56.
  • step S16 the filing unit 56 multiplexes the video stream supplied from the multiplexing unit 54 and the audio stream supplied from the audio encoding unit 55 to generate an AV stream.
  • step S17 the file conversion unit 56 converts the AV stream into a file to generate and output a stream file. This stream file is recorded on the optical disc 11.
  • FIG. 9 and FIG. 10 are flowcharts for explaining the details of the encoding process of step S12 of FIG.
  • step S31 of FIG. 9 the A / D conversion unit 71 (FIG. 7) of the video encoding unit 52 A / D converts the input analog signal of each picture, and displays the digital signal of each picture after conversion It is output to the rearrangement buffer 72 and stored.
  • step S32 the screen rearrangement buffer 72 rearranges the pictures in the stored display order into the order for encoding in accordance with the GOP structure.
  • the screen rearrangement buffer 72 outputs the rearranged picture to the arithmetic unit 73, the intra prediction unit 87, and the motion prediction / compensation unit 89 as a current picture.
  • step S33 the intra prediction unit 87 performs, for the current block, intra prediction processing in all candidate intra prediction modes using the neighboring pixels read from the frame memory 85 via the switch 86. Further, the intra prediction unit 87 calculates cost function values for all candidate intra prediction modes based on the current picture from the screen rearrangement buffer 72 and the predicted image generated as a result of the intra prediction process. Do. Then, the intra prediction unit 87 determines the intra prediction mode with the smallest cost function value as the optimal intra prediction mode. The intra prediction unit 87 supplies the predicted image generated in the optimal intra prediction mode and the corresponding cost function value to the predicted image selection unit 92.
  • the motion prediction / compensation unit 89 performs motion prediction / compensation processing on all candidate inter prediction modes for the current block using the reference picture candidate. Also, the motion prediction / compensation unit 89 generates all candidate inter prediction modes and reference pictures based on the current picture from the screen rearrangement buffer 72 and the predicted image generated as a result of the motion prediction / compensation processing. Calculate the cost function value. The motion prediction / compensation unit 89 determines the inter prediction mode with the smallest cost function value as the optimal inter prediction mode, and determines the reference picture candidate as the reference picture. Then, the motion prediction / compensation unit 89 supplies the minimum value of the cost function value and the corresponding prediction image to the prediction image selection unit 92.
  • step S34 the predicted image selection unit 92 determines that the cost function value among the optimal intra prediction mode and the optimal inter prediction mode is minimum, based on the cost function values supplied from the intra prediction unit 87 and the motion prediction / compensation unit 89. The one that becomes is determined to be the optimal prediction mode. Then, the prediction image selection unit 92 supplies the prediction image of the optimal prediction mode to the calculation unit 73 and the addition unit 81.
  • step S35 the predicted image selection unit 92 determines whether the optimal prediction mode is the optimal inter prediction mode. If it is determined in step S35 that the optimal prediction mode is the optimal inter prediction mode, the prediction image selection unit 92 notifies the motion prediction / compensation unit 89 of selection of a prediction image generated in the optimal inter prediction mode.
  • the motion prediction / compensation unit 89 generates motion vector information representing the motion vector of the current block corresponding to the predicted image in response to the notification. Then, in step S36, the motion prediction / compensation unit 89 supplies the inter prediction mode information, the motion vector information, and the reference picture identification information to the lossless encoding unit 76, and the process proceeds to step S38.
  • step S35 if it is determined in step S35 that the optimal prediction mode is not the optimal inter prediction mode, that is, if the optimal prediction mode is the optimal intra prediction mode, the predicted image selection unit 92 generates the prediction generated in the optimal intra prediction mode.
  • the intra prediction unit 87 is notified of image selection. Then, in step S37, the intra prediction unit 87 supplies the intra prediction mode information to the lossless encoding unit 76, and advances the process to step S38.
  • step S38 the computing unit 73 performs encoding by subtracting the predicted image supplied from the predicted image selecting unit 92 from the current picture supplied from the screen rearrangement buffer 72.
  • the computing unit 73 outputs the resulting picture to the orthogonal transform unit 74 as residual information.
  • step S39 the orthogonal transformation unit 74 performs orthogonal transformation on the residual information from the computation unit 73 on a TU basis, and supplies the orthogonal transformation coefficient obtained as a result to the quantization unit 75.
  • step S40 the quantization unit 75 quantizes the orthogonal transformation coefficient supplied from the orthogonal transformation unit 74, and supplies the quantized orthogonal transformation coefficient to the lossless encoding unit 76 and the inverse quantization unit 79.
  • step S41 of FIG. 10 the inverse quantization unit 79 inversely quantizes the quantized orthogonal transformation coefficient supplied from the quantization unit 75, and supplies the resultant orthogonal transformation coefficient to the inverse orthogonal transformation unit 80. .
  • step S42 the inverse orthogonal transformation unit 80 performs inverse orthogonal transformation on the orthogonal transformation coefficient supplied from the inverse quantization unit 79 on a TU basis, and supplies the resultant residual information to the addition unit 81.
  • step S43 the addition unit 81 adds the residual information supplied from the inverse orthogonal transform unit 80 and the predicted image supplied from the predicted image selection unit 92, and locally decodes the current picture.
  • the addition unit 81 supplies the locally decoded current picture to the frame memory 85. Also, the adding unit 81 supplies the current picture, in which all the regions have been decoded, to the filter 82 as a coded picture.
  • step S44 the filter 82 performs deblocking filter processing on the encoded picture supplied from the adding unit 81.
  • step S45 the filter 82 performs adaptive offset filter processing for each LCU (Largest Coding Unit) on the coded picture after the deblock filter processing.
  • the filter 82 supplies the resulting encoded picture to the frame memory 85. Also, the filter 82 supplies offset filter information to the lossless encoding unit 76 for each LCU.
  • step S46 the frame memory 85 stores the current picture supplied from the adding unit 81 and the encoded picture supplied from the filter 82. Pixels adjacent to the current block in the current picture are supplied to the intra prediction unit 87 via the switch 86 as peripheral pixels. Also, the coded picture is output to the motion prediction / compensation unit 89 via the switch 86 as a reference picture candidate.
  • step S47 the lossless encoding unit 76 losslessly encodes intra prediction mode information, or inter prediction mode information, motion vector information, reference picture identification information, and offset filter information as encoding information.
  • step S48 the lossless encoding unit 76 losslessly encodes the quantized orthogonal transformation coefficient supplied from the quantization unit 75. Then, the lossless encoding unit 76 arranges the encoding information losslessly encoded in the process of step S47 in a slice header in slice units, and adds it to the losslessly encoded slice unit orthogonal transform coefficients, Generate unit encoded data. The lossless encoding unit 76 supplies encoded data in slice units to the accumulation buffer 77.
  • step S49 the accumulation buffer 77 temporarily accumulates the slice unit encoded data supplied from the lossless encoding unit 76.
  • step S50 the rate control unit 93 controls the rate of the quantization operation of the quantization unit 75 based on the encoded data accumulated in the accumulation buffer 77 so that an overflow or an underflow does not occur.
  • step S51 the accumulation buffer 77 outputs the stored encoded data in slice units to the NALization unit 53 in FIG. Then, the process returns to step S12 in FIG. 8 and proceeds to step S13.
  • the intra prediction process and the motion prediction / compensation process are always performed. In some cases only
  • the file generation unit 50 sets SEI including reference layer information. Therefore, the playback device 2 can easily perform trick play based on reference layer information included in the SEI without parsing encoded data other than encoded data of a picture whose reference layer information is less than or equal to a threshold value. it can.
  • the playback device 2 can easily control the trick play granularity based on the reference layer information included in the SEI by changing the threshold. Therefore, it can be said that the file generation unit 50 can set information that allows easy control of the trick play granularity.
  • FIG. 11 is a block diagram showing an example of the configuration of a fast-forwarding reproduction unit for fast-forwarding reproducing the video stream of the stream file recorded on the optical disk 11 in the reproducing apparatus 2 of FIG.
  • the fast-forwarding reproduction unit 110 in FIG. 11 includes a reading unit 111, a separation unit 112, an extraction unit 113, a selection unit 114, and a decoding unit 115.
  • the reading unit 111 of the fast-forwarding reproduction unit 110 reads the AU of the leading picture of the AV stream stored as a stream file on the optical disc 11. Further, the reading unit 111 reads an AU of the picture represented by the selected picture information supplied from the selecting unit 114 out of the AV stream stored as a stream file on the optical disc 11. The reading unit 111 supplies the read AU to the separating unit 112.
  • the separating unit 112 receives the AU supplied from the reading unit 111.
  • the separation unit 112 separates each NAL unit constituting the AU, and supplies the separated NAL units to the extraction unit 113.
  • the extraction unit 113 extracts the parameter set and the encoded data in slice units from the NAL unit supplied from the separation unit 112, and supplies the extracted data to the decoding unit 115. Also, the extraction unit 113 supplies the GOP structure map stored in the SEI of the leading picture in the parameter set to the selection unit 114.
  • the selection unit 114 selects a picture other than the leading picture to be subjected to fast-forward playback. Specifically, the selection unit 114 selects a picture other than the first picture whose reference layer information is equal to or less than the threshold value, based on the reference layer information of each picture constituting the GOP described in the GOP structure map. This threshold is determined based on, for example, the granularity of fast-forward playback designated by the user. The selection unit 114 supplies the selected picture information representing the selected picture to the reading unit 111.
  • the decoding unit 115 decodes, in CU units, the encoded data in slice units supplied from the extraction unit 113 in accordance with the HEVC scheme. At this time, the decoding unit 115 also refers to the parameter set supplied from the extraction unit 113 as necessary. The decoding unit 115 outputs the picture obtained as a result of the decoding to the display device 3 of FIG.
  • FIG. 12 is a block diagram showing a configuration example of the decoding unit 115 of FIG.
  • the decoding unit 115 in FIG. 12 includes an accumulation buffer 131, a lossless decoding unit 132, an inverse quantization unit 133, an inverse orthogonal transformation unit 134, an addition unit 135, a filter 136, and a screen rearrangement buffer 139.
  • the decoding unit 115 further includes a D / A conversion unit 140, a frame memory 141, a switch 142, an intra prediction unit 143, a motion compensation unit 147, and a switch 148.
  • the accumulation buffer 131 of the decoding unit 115 receives encoded data in slice units from the extraction unit 113 of FIG.
  • the accumulation buffer 131 supplies the encoded data in units of pictures that have been accumulated to the lossless decoding unit 132 as encoded data of the current picture.
  • the lossless decoding unit 132 applies a lossless decoding such as variable-length decoding or arithmetic decoding to the encoded data from the accumulation buffer 131, corresponding to the lossless encoding of the lossless encoding unit 76 in FIG. Obtain the transformed orthogonal transform coefficients and the coding information.
  • the lossless decoding unit 132 supplies the quantized orthogonal transformation coefficient to the inverse quantization unit 133. Also, the lossless decoding unit 132 supplies intra prediction unit information or the like as coding information to the intra prediction unit 143.
  • the lossless decoding unit 132 supplies reference picture identification information, motion vector information, and inter prediction mode information to the motion compensation unit 147.
  • the lossless decoding unit 132 supplies intra prediction mode information or inter prediction mode information as coding information to the switch 148.
  • the lossless decoding unit 132 supplies offset filter information as encoding information to the filter 136.
  • the inverse quantization unit 133, the inverse orthogonal transformation unit 134, the addition unit 135, the filter 136, the frame memory 141, the switch 142, the intra prediction unit 143, and the motion compensation unit 147 are the inverse quantization unit 79 in FIG.
  • the same processing as that of the adding unit 81, the filter 82, the frame memory 85, the switch 86, the intra prediction unit 87, and the motion prediction / compensation unit 89 is performed to decode a picture in CU units.
  • the inverse quantization unit 133 inversely quantizes the quantized orthogonal transformation coefficient from the lossless decoding unit 132, and supplies the orthogonal transformation coefficient obtained as a result to the inverse orthogonal transformation unit 134.
  • the inverse orthogonal transformation unit 134 performs inverse orthogonal transformation on the orthogonal transformation coefficient from the inverse quantization unit 133 on a TU basis.
  • the inverse orthogonal transformation unit 134 supplies the residual information obtained as a result of the inverse orthogonal transformation to the addition unit 135.
  • the addition unit 135 locally decodes the current picture in CU units by adding the residual information supplied from the inverse orthogonal transform unit 134 and the predicted image supplied from the switch 148. When the predicted image is not supplied from the switch 148, the addition unit 135 sets the residual information supplied from the inverse orthogonal transform unit 134 as the decoding result. The addition unit 135 supplies the locally decoded current picture obtained as a result of the decoding to the frame memory 141. Also, the adding unit 135 supplies the current picture, in which all the regions have been decoded, to the filter 136 as a decoded picture.
  • the filter 136 filters the decoded picture supplied from the adding unit 135. Specifically, the filter 136 first performs deblocking filter processing on the decoded picture. Next, the filter 136 uses, for each LCU, the offset represented by the offset filter information from the lossless decoding unit 132 to perform adaptive offset of the type represented by the offset filter information with respect to the decoded picture after the deblocking filter processing. Perform filter processing. The filter 136 supplies the decoded picture after adaptive offset filtering to the frame memory 141 and the screen rearrangement buffer 139.
  • the screen rearrangement buffer 139 stores the decoded picture supplied from the filter 136.
  • the screen rearrangement buffer 139 rearranges the stored decoded pictures in the order for encoding into the original display order, and supplies the rearranged pictures to the D / A conversion unit 140.
  • the D / A conversion unit 140 D / A converts the decoded picture in units of frames supplied from the screen rearrangement buffer 139, and outputs the converted picture to the display device 3 in FIG.
  • the frame memory 141 stores the current picture supplied from the adding unit 135 and the decoded picture supplied from the filter 136.
  • the pixels adjacent to the current block in the current picture are supplied to the intra prediction unit 143 via the switch 142 as peripheral pixels.
  • the decoded picture is output to the motion compensation unit 147 via the switch 142 as a reference picture.
  • the intra prediction unit 143 uses the neighboring pixels read from the frame memory 141 via the switch 142 to select the optimal intra prediction mode indicated by the intra prediction mode information supplied from the lossless decoding unit 132. Perform intra prediction processing.
  • the intra prediction unit 143 supplies the predicted image generated as a result to the switch 148.
  • the motion compensation unit 147 performs a motion compensation process on the current block based on the inter prediction mode information from the lossless decoding unit 132, the reference picture identification information, and the motion vector information.
  • the motion compensation unit 147 reads the reference picture specified by the reference picture specification information from the frame memory 141 via the switch 142.
  • the motion compensation unit 147 performs motion compensation processing of the current block in the optimal inter prediction mode indicated by the inter prediction mode information, using the reference picture and the motion vector represented by the motion vector information.
  • the motion compensation unit 147 supplies the predicted image generated as a result to the switch 148.
  • the switch 148 supplies the prediction image supplied from the intra prediction unit 143 to the addition unit 135.
  • the switch 148 supplies the prediction image supplied from the motion compensation unit 147 to the addition unit 135.
  • FIG. 13 is a flow chart for explaining the fast forward reproduction processing of the fast forward reproduction unit 110 of FIG. This fast forward reproduction process is performed in units of GOPs.
  • step S111 in FIG. 13 the reading unit 111 of the fast-forwarding reproduction unit 110 reads the AU of the first picture of the AV stream stored as a stream file on the optical disc 11 and supplies the AU to the separation unit 112.
  • step S112 the separation unit 112 separates each NAL unit constituting the AU supplied from the reading unit 111, and supplies the separated NAL units to the extraction unit 113.
  • step S 113 the extraction unit 113 extracts the parameter set and the encoded data in slice units from the NAL unit supplied from the separation unit 112, and supplies the extracted data to the decoding unit 115.
  • step S114 the fast forward playback unit 110 determines whether the AU read by the reading unit 111 is the AU of the leading picture. If it is determined in step S114 that the read AU is the AU of the first picture, the process proceeds to step S115.
  • step S115 the extraction unit 113 supplies, to the selection unit 114, the GOP structure map stored in SEI of the first picture in the parameter set extracted in step S113.
  • step S116 based on the GOP structure map supplied from the extraction unit 113, the selection unit 114 selects a picture other than the leading picture to be subjected to fast-forward playback.
  • the selecting unit 114 supplies selected picture information representing the selected picture to the reading unit 111, and the process proceeds to step S117.
  • step S114 determines whether the read AU is the AU of the first picture, that is, if the read AU is the AU of a picture other than the first picture not including the GOP structure map.
  • steps S115 and S116 are not performed. Then, the process proceeds to step S117.
  • step S117 the decoding unit 115 decodes, in units of CUs, the encoded data in units of slices supplied from the extraction unit 113 using the parameter set supplied from the extraction unit 113 as necessary. Do the processing. Details of this decoding process will be described with reference to FIG. 14 described later.
  • step S118 the reading unit 111 determines whether AUs of all the pictures represented by the selected picture information have been read. If it is determined in step S118 that the AUs of all the pictures represented by the selected picture information have not been read yet, the process proceeds to step S119.
  • step S119 the reading unit 111 reads, out of the AUs of the picture represented by the selected picture information in the AV stream stored as a stream file on the optical disc 11, an AU that has not been read yet. Then, the process returns to step S112, and the processes of steps S112 to S119 are repeated until AUs of all the pictures represented by the selected picture information are read.
  • step S118 if it is determined in step S118 that AUs of all the pictures represented by the selected picture information have been read out, the process ends.
  • FIG. 14 is a flowchart for explaining the details of the decoding process of step S117 of FIG.
  • step S131 of FIG. 14 the accumulation buffer 131 (FIG. 12) of the decoding unit 115 receives the encoded data in slice units from the extraction unit 113 of FIG.
  • the accumulation buffer 131 supplies the encoded data in units of pictures that have been accumulated to the lossless decoding unit 132 as encoded data of the current picture.
  • step S132 the lossless decoding unit 132 losslessly decodes the encoded data from the accumulation buffer 131, and obtains quantized orthogonal transformation coefficients and encoding information.
  • the lossless decoding unit 132 supplies the quantized orthogonal transformation coefficient to the inverse quantization unit 133.
  • the lossless decoding unit 132 supplies intra prediction unit information or the like as coding information to the intra prediction unit 143.
  • the lossless decoding unit 132 supplies reference picture identification information, motion vector information, and inter prediction mode information to the motion compensation unit 147.
  • the lossless decoding unit 132 supplies intra prediction mode information or inter prediction mode information as coding information to the switch 148.
  • the lossless decoding unit 132 supplies offset filter information as encoding information to the filter 136.
  • step S133 the inverse quantization unit 133 inversely quantizes the quantized orthogonal transformation coefficient from the lossless decoding unit 132, and supplies the resultant orthogonal transformation coefficient to the inverse orthogonal transformation unit 134.
  • step S134 the inverse orthogonal transformation unit 134 performs inverse orthogonal transformation on the orthogonal transformation coefficient from the inverse quantization unit 133, and supplies the residual information obtained as a result to the addition unit 135.
  • step S135 the motion compensation unit 147 determines whether the inter prediction mode information has been supplied from the lossless decoding unit 132 or not. If it is determined in step S135 that the inter prediction mode information has been supplied, the process proceeds to step S136.
  • step S136 the motion compensation unit 147 performs a motion compensation process on the current block based on the inter prediction mode information from the lossless decoding unit 132, the reference picture specification information, and the motion vector information.
  • the motion compensation unit 147 supplies the predicted image generated as a result thereof to the addition unit 135 via the switch 148, and the process proceeds to step S138.
  • step S135 when it is determined in step S135 that the inter prediction mode information is not supplied, that is, when the intra prediction mode information is supplied to the intra prediction unit 143, the process proceeds to step S137.
  • step S137 the intra prediction unit 143 performs, for the current block, intra prediction processing in the optimal intra prediction mode indicated by the intra prediction mode information, using neighboring pixels read from the frame memory 141 via the switch 142. Do.
  • the intra prediction unit 143 supplies the predicted image generated as a result of the intra prediction process to the addition unit 135 via the switch 148, and the process proceeds to step S138.
  • step S138 the addition unit 135 locally decodes the current picture by adding the residual information supplied from the inverse orthogonal transform unit 134 and the predicted image supplied from the switch 148.
  • the addition unit 135 supplies the locally decoded current picture obtained as a result of the decoding to the frame memory 141. Also, the adding unit 135 supplies the current picture, in which all the regions have been decoded, to the filter 136 as a decoded picture.
  • step S139 the filter 136 deblocks the decoded picture supplied from the adding unit 135 to remove block distortion.
  • step S140 the filter 136 performs adaptive offset filter processing for each LCU on the decoded picture after the deblocking filter processing based on the offset filter information supplied from the lossless decoding unit 132.
  • the filter 136 supplies the image after the adaptive offset filter processing to the screen rearrangement buffer 139 and the frame memory 141.
  • step S 141 the frame memory 141 stores the current picture supplied from the adding unit 81 and the decoded picture supplied from the filter 136.
  • the pixels adjacent to the current block in the current picture are supplied to the intra prediction unit 143 via the switch 142 as peripheral pixels.
  • the decoded picture is output to the motion compensation unit 147 via the switch 142 as a reference picture.
  • step S142 the screen rearrangement buffer 139 stores the decoded picture supplied from the filter 136, rearranges the stored pictures in the order for encoding into the original display order, and performs D / A conversion. It supplies to the part 140.
  • step S143 the D / A conversion unit 140 D / A converts the picture supplied from the screen rearrangement buffer 139 and outputs the picture to the display device 3 of FIG. Then, the process returns to step S117 in FIG. 13 and proceeds to step S118.
  • the fast forward playback unit 110 selects a picture to be a target of fast forward playback based on the reference layer information included in the SEI. Therefore, the fast forward playback unit 110 can easily perform fast forward playback without parsing encoded data other than the encoded data of the selected picture.
  • the fast-forwarding reproduction unit 110 can easily control the granularity of the fast-forwarding reproduction based on the reference layer information included in the SEI by changing the threshold of the reference layer information corresponding to the picture to be selected.
  • the fast-forward playback unit 110 of the playback device 2 a portion of the playback device 2 that performs other trick play such as rewind playback on the video stream is also a picture of the display device 3. Similar to the fast forward playback unit 110 except that the output order is different.
  • the rewinding playback unit that performs rewinding playback selects and decodes a picture to be a target of rewinding playback based on the reference layer information, and the display order obtained as a result of decoding Output pictures in reverse order.
  • the reproduction apparatus 2 performs trick play based on the reference layer information
  • the reproduction is performed at a frame rate lower than the frame rate of the video stream recorded on the optical disc 11 You may do so.
  • the playback device 2 may decode the picture selected based on the reference layer information in the same time as decoding all the pictures. Therefore, the processing load of the playback device 2 is reduced, and decoding can be performed even when the processing capability of the playback device 2 is low.
  • the leading picture may not be reproduced when the reference layer information of the leading picture is larger than the threshold.
  • Second Embodiment (Description of a computer to which the present disclosure is applied)
  • the above-described series of processes may be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 15 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 201 a read only memory (ROM) 202, and a random access memory (RAM) 203 are mutually connected by a bus 204.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • an input / output interface 205 is connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 209 is configured of a network interface or the like.
  • the drive 210 drives removable media 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded on, for example, a removable medium 211 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable media 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in advance in the ROM 202 or the storage unit 208.
  • the program executed by the computer 200 may be a program that performs processing in chronological order according to the order described in this specification, or in parallel, or when necessary, such as when a call is made. It may be a program in which processing is performed.
  • reference layer information is multiplexed into coded data and transmitted from the coding side to the decoding side.
  • the method of transmitting reference layer information is not limited to such an example.
  • reference layer information may be transmitted or recorded as separate data associated with the coded data without being multiplexed to the coded data.
  • the term “associate” allows a picture (such as a slice or a block, which may be part of a picture) included in the video stream to be linked at the time of decoding with information corresponding to the picture.
  • the reference layer information may be recorded on a recording medium (or another recording area of the same recording medium) different from the encoded data.
  • the reference layer information and the encoded data may be associated with each other in an arbitrary unit such as, for example, a plurality of pictures, one picture, or a part in a picture.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the provision of content may be performed via broadcast waves or a network.
  • the present disclosure can be applied to a set top box that receives broadcast waves, a television receiver, a personal computer that transmits and receives data via a network, and the like.
  • the reference layer information may be included in the information stored in the SEI other than the GOP structure map.
  • the reference layer information may be stored in SEI of a picture other than the leading picture or in a parameter set other than SEI.
  • the present disclosure can adopt a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also be configured as follows.
  • An image processing apparatus comprising: a setting unit configured to set additional information of encoded data of the picture including reference layer information representing a layer of a reference relation of the picture; (2) The image processing apparatus according to (1), wherein the additional information is configured to include reference layer information of all the pictures constituting a GOP (Group of Pictures) including the picture. (3) The image processing apparatus according to (2), wherein the additional information is configured to be additional information of encoded data of a leading picture of the GOP. (4) The image processing apparatus according to any one of (1) to (3), wherein the additional information is configured to include picture type information indicating a type of the picture.
  • the coding method of the picture is HEVC (High Efficiency Video Coding), The image processing apparatus according to any one of (1) to (4), wherein the additional information is configured to be supplemental enhancement information (SEI).
  • SEI Supplemental Enhancement Information
  • the image processing device An image processing method including a setting step of setting additional information of encoded data of the picture including reference layer information representing a layer of reference relation of the picture.
  • An image processing apparatus comprising: a selection unit which selects a picture to be reproduced based on reference layer information representing a layer of a reference relation of the picture, which is included in additional information of encoded data of the picture.
  • the image processing apparatus (9) The image processing apparatus according to (8), wherein the additional information is configured to include reference layer information of all the pictures constituting a GOP (Group of Pictures) including the picture. (10) The image processing apparatus according to (9), wherein the additional information is configured to be additional information of encoded data of a first picture of the GOP. (11) The image processing apparatus according to any one of (8) to (10), wherein the additional information is configured to include picture type information indicating a type of the picture. (12) The coding method of the picture is HEVC (High Efficiency Video Coding), The image processing apparatus according to any one of (8) to (11), wherein the additional information is configured to be supplemental enhancement information (SEI).
  • SEI Supplemental Enhancement Information
  • the image processing apparatus according to any one of (8) to (12), further comprising: a decoding unit that decodes encoded data of the picture to be reproduced selected by the selection unit.
  • the image processing device An image processing method including a selection step of selecting a picture to be reproduced based on reference layer information representing a layer of a reference relation of the picture included in additional information of encoded data of the picture.
  • Computer A program for functioning as a selection unit which selects a picture to be reproduced based on reference layer information representing a layer of a reference relation of the picture included in additional information of encoded data of the picture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本開示は、トリックプレイの粒度の制御を容易に可能にする情報を設定することができるようにする画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関する。 設定部は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含むピクチャの符号化データのSEI（Supplemental Enhancement Information）を設定する。本開示は、例えば、ＢＤ（Blu-ray（登録商標） Disc）規格のHEVC（High Efficiency Video Coding）方式で映像データを符号化する記録装置等に適用することができる。

Description

画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
　本開示は、画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関し、特に、トリックプレイの粒度を容易に制御することができるようにした画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関する。
　現在のBD（Blu-ray（登録商標） Disc）規格では、映像の符号化方式としてAVC（Advanced Video Coding）方式が採用されている(例えば、特許文献１参照)。BD規格のAVC方式では、GOP（Group of Picture）を構成する全てのピクチャの情報をまとめて記述するGOP structure mapを、ES（Elementary Stream）のuser unregistered SEI（Supplemental Enhancement Information）として格納することができる。
　ESのSEIとしてGOP structure mapが格納される場合、再生装置は、GOP structure mapを用いて、早送り再生、巻き戻し再生などのトリックプレイを容易に行うことができる。例えば、再生装置は、GOP structure mapに記述される、GOPを構成する各ピクチャのタイプに基づいて、GOP内のIピクチャを認識し、Iピクチャのみをパースすることにより、容易に早送り再生や巻き戻し再生を行うことができる。
　一方、現在、BDA（Blu-ray（登録商標） Disc Association)において次世代BD規格策定議論が行われている。次世代BD規格では、映像の符号化方式としてHEVC（High Efficiency Video Coding）方式が新規に採用される予定である。
特開２０１３－１５８００３号公報
　しかしながら、トリックプレイの粒度の制御を容易に可能にする情報をESに設定することは考えられていない。従って、トリックプレイの粒度を容易に制御することはできない。
　本開示は、このような状況に鑑みてなされたものであり、トリックプレイの粒度を容易に制御することができるようにするものである。
　本開示の第１の側面の画像処理装置は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部を備える画像処理装置である。
　本開示の第１の側面の画像処理方法およびプログラムは、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報が設定される。
　本開示の第２の側面の画像処理装置は、ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部を備える画像処理装置である。
　本開示の第２の側面の画像処理方法およびプログラムは、本開示の第２の側面の画像処理装置に対応する。
　本開示の第２の側面においては、ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャが選択される。
　本開示の第３の側面の記録媒体は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる記録媒体である。
　本開示の第３の側面においては、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される。
　本開示の第１の側面によれば、トリックプレイの粒度の制御を容易に可能にする情報を設定することができる。
　本開示の第２の側面によれば、トリックプレイの粒度を容易に制御することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。 光ディスクに記録されるファイルのディレクトリ構造の例を示す図である。 ファイル生成部の構成例を示すブロック図である。 先頭ピクチャのAUの構成例を示す。 GOP structure mapのシンタックスの例を示す図である。 参照レイヤ情報を説明する図である。 図３の映像符号化部の構成例を示すブロック図である。 図３のファイル生成部のストリームファイル生成処理を説明するフローチャートである。 図８の符号化処理の詳細を説明するフローチャートである。 図８の符号化処理の詳細を説明するフローチャートである。 早送り再生部の構成例を示すブロック図である。 図１１の復号部の構成例を示すブロック図である。 図１１の早送り再生部の早送り再生処理を説明するフローチャートである。 図１３の復号処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：記録再生システム（図１乃至図１４）
　２．第２実施の形態：コンピュータ（図１５）
　＜第１実施の形態＞
　（記録再生システムの一実施の形態の構成例）
　図１は、本開示を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。
　図１の記録再生システムは、記録装置１、再生装置２、および表示装置３から構成される。再生装置２と表示装置３はHDMI（登録商標）(High Definition Multimedia Interface)ケーブル４を介して接続される。再生装置２と表示装置３が他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
　記録装置１は、映像、音声などのコンテンツを記録し、再生装置２は、コンテンツを再生する。記録装置１から再生装置２に対するコンテンツの提供は、記録装置１および再生装置２（情報処理装置）に装着される光ディスク１１（記録媒体）を用いて行われる。ここでは、光ディスク１１は、BD-ROM（Read Only Memory）フォーマットに準ずるフォーマットで、コンテンツが記録されたディスクである。従って、記録装置１は、例えばコンテンツのオーサが使う装置となる。
　光ディスク１１は、BD-R,-REなどの他のフォーマットに準ずるフォーマットで、コンテンツが記録されたディスクであってもよい。また、記録装置１から再生装置２に対するコンテンツの提供は、フラッシュメモリを搭載したメモリカードなどの、光ディスク以外のリムーバブルメディアを用いて行われるようにしてもよい。
　以下、適宜、記録装置１によってコンテンツが記録された光ディスク１１が再生装置２に提供されるものとして説明するが、実際には、記録装置１によりコンテンツが記録されたマスター盤に基づいて光ディスクが複製され、その１つである光ディスク１１が再生装置２に提供される。
　記録装置１（画像処理装置）に対しては、映像データ、音声データ等が入力される。記録装置１は、これらのデータを符号化してESを生成し、多重化して、１本のTS（Transport Stream）であるＡＶストリームを生成する。記録装置１は、生成されたＡＶストリーム等を光ディスク１１に記録する。
　再生装置２（画像処理装置）は、ドライブを駆動し、光ディスク１１に記録されたＡＶストリームを読み出す。再生装置２は、ＡＶストリームを、映像データのESである映像ストリームと音声データのESである音声ストリームに分離し、復号する。再生装置２は、復号して得られた映像データと音声データを表示装置３に出力する。
　表示装置３は、再生装置２から送信された映像データを受信し、その映像データに基づいて、内蔵するモニタに映像を表示する。また、表示装置３は、再生装置２から送信されてきた音声データを受信し、その音声データに基づいて、内蔵するスピーカから音声を出力する。
　(光ディスクのディレクトリ構造)
　図２は、図１の光ディスク１１に記録されるファイルのディレクトリ構造の例を示す図である。
　光ディスク１１に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク１１上には１つのrootディレクトリが作成される。
　rootディレクトリの下にはBDMVディレクトリが置かれる。
　BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndexファイルと、「MovieObject.bdmv」の名前が設定されたファイルであるMovie Objectファイルが格納される。
　Indexファイルには、例えば、光ディスク１１に記録されているタイトルの番号の一覧と、そのタイトルの番号に対応して実行されるオブジェクトの種類および番号が記述される。オブジェクトの種類としては、ムービーオブジェクト（Movie Object）とBD-Jオブジェクト（BD-J Object）の２種類がある。
　ムービーオブジェクトは、PlayListの再生等に用いられるコマンドであるナビゲーションコマンドが記述されるオブジェクトである。BD-Jオブジェクトは、BD-Jアプリケーションが記述されるオブジェクトである。Movie Objectファイルには、ムービーオブジェクトが記述される。
　BDMVディレクトリの下にはまた、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ等が設けられる。
　PLAYLISTディレクトリには、ＡＶストリームの再生を管理するための再生管理情報として用いられるPlayListを記述したPlayListファイルが格納される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。図２の３つのPlayListファイルには、それぞれ、「00000.mpls」、「00002.mpls」、「00003.mpls」のファイル名が設定されている。
　CLIPINFディレクトリには、所定の単位のＡＶストリームに関する情報がClip Informationファイルとして格納される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図２の３つのClip Informationファイルには、それぞれ、「01000.clpi」、「02000.clpi」、「03000.clpi」のファイル名が設定されている。
　STREAMディレクトリには、所定の単位のＡＶストリームがストリームファイルとして格納される。各ストリームファイルには、５桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図２の３つのストリームファイルには、それぞれ、「01000.m2ts」、「02000.m2ts」、「03000.m2ts」のファイル名が設定されている。
　同じ５桁の数字がファイル名に設定されているClip Informationファイルとストリームファイルが１つのClipを構成するファイルとなる。「01000.m2ts」のストリームファイルの再生時には「01000.clpi」のClip Informationファイルが用いられ、「02000.m2ts」のストリームファイルの再生時には「02000.clpi」のClip Informationファイルが用いられる。
　（ファイル生成部の構成例）
　図３は、図１の記録装置１のうちの、ストリームファイルを生成するファイル生成部の構成例を示すブロック図である。
　図３のファイル生成部５０は、設定部５１、映像符号化部５２、NAL(Network Abstraction Layer)化部５３、多重化部５４、音声符号化部５５、およびファイル化部５６により構成される。
　ファイル生成部５０の設定部５１は、SPS（Sequence Parameter Set）,PPS（Picture Parameter Set），SEI（付加情報）などのパラメータセットを設定する。GOPの先頭のピクチャ（以下、先頭ピクチャという）のSEIの１つには、その先頭ピクチャを含むGOPを構成する全てのピクチャの参照関係のレイヤ（sub-layer）を表す番号である参照レイヤ情報を含むGOP structure mapが格納されている。設定部５１は、設定されたパラメータセットを映像符号化部５２とNAL化部５３に供給する。
　映像符号化部５２には、映像データがピクチャ単位で入力される。映像符号化部５２は、入力された映像データの各ピクチャを、HEVC方式にしたがってCU（Coding Unit）単位で符号化する。このとき、必要に応じて、設定部５１から供給されるパラメータセットが用いられる。映像符号化部５２は、符号化の結果得られる各ピクチャのスライス単位の符号化データを、NAL化部５３に供給する。
　NAL化部５３は、設定部５１から供給されるパラメータセットと映像符号化部５２から供給される符号化データをNAL化し、NALヘッダとデータ部とからなるNALユニットを生成する。NAL化部５３は、生成されたNALユニットを多重化部５４に供給する。
　多重化部５４は、NAL化部５３から供給されるNALユニットを、ピクチャ単位でまとめてAU（Access Unit）を生成する。多重化部５４は、１以上のAUからなる映像ストリームを、ファイル化部５６に供給する。
　音声符号化部５５には、音声データが入力される。音声符号化部５５は、音声データを符号化し、その結果得られる音声ストリームをファイル化部５６に供給する。
　ファイル化部５６は、多重化部５４から供給される映像ストリーム（符号化ストリーム）と音声符号化部５５から供給される音声ストリームを多重化して、ＡＶストリームを生成する。ファイル化部５６は、生成されたＡＶストリームをファイル化してストリームファイルを生成し、出力する。このストリームファイルは、光ディスク１１に記録される。
　（先頭ピクチャのAUの構成例）
　図４は、先頭ピクチャのAUの構成例を示す。
　図４に示すように、先頭ピクチャのAUの先頭には、AUの境界を示すAU delimiterが１つ配置される。続いて、１つのSPSのNALユニット、１以上のPPSのNALユニット、１以上のSEIのNALユニット、１以上のスライス単位の符号化データのNALユニットが順に配置される。その後、必要に応じてフィラーデータが配置される。そして、先頭ピクチャがシーケンス内の最後のピクチャである場合、シーケンスの終端を示すEnd of sequenceが配置され、先頭ピクチャが映像ストリームの最後のピクチャである場合、映像ストリームの終端を示すEnd of streamが配置される。
　また、SEIのNALユニットには、参照レイヤ情報を含むGOP structure mapが格納される。
　（GOP structure mapのシンタックスの例）
　図５は、GOP structure mapのシンタックスの例を示す図である。
　図５に示すように、GOP structure mapには、対応するGOPのピクチャ数であるnumber_of_pictures_in_GOPが記述される。また、GOP structure mapには、対応するGOPを構成するピクチャごとに、１が設定される５ビットのshifting_bits（stuffing_bits）、並びに、そのピクチャのpicture_structure、temporal_id、およびpicture_typeが記述される。
　picture_structureは、ピクチャの表示時のフレーム構造を表す３ビットの値である。picture_structureは、例えば、表示時のフレームレートが、映像ストリームのフレームレートと同一であるか、もしくは、映像ストリームのフレームレートの２倍または３倍であるかを表す。
　temporal_idは、ピクチャの符号化データのNALヘッダに含まれる、そのピクチャの参照レイヤ情報を表すnuh_temporal_id_plus1から１を減算した３ビットの値である。参照レイヤ情報は、BD規格のAVC方式では採用されておらず、SVC(Scalable Video Coding Extension)方式やHEVC方式で採用されている情報である。
　picture_type（ピクチャタイプ情報）は、ピクチャのタイプを表す４ビットの値である。例えば、ピクチャタイプがＩピクチャである場合、1000bであり、リファレンスＢピクチャである場合、1010bであり、ノンリファレンスＢピクチャである場合、0010bであり、Ｐピクチャである場合1001bである。
　（参照レイヤ情報の説明）
　図６は、参照レイヤ情報を説明する図である。
　なお、図６の例では、参照関係のレイヤの数が３である。また、図６において、横軸は、表示順（Display order）を表し、縦軸は、参照レイヤ情報を表す。正方形はピクチャを表し、正方形の中のアルファベットは、ピクチャタイプを表し、数字は、参照レイヤ情報を表す。矢印は、矢印の先の正方形が表すピクチャが矢印の元のピクチャを参照する参照関係を表す。
　図６に示すように、ピクチャは、自分の参照レイヤ情報より大きい参照レイヤ情報のピクチャを参照することはできない。
　具体的には、図６の例では、GOPを構成する９つのピクチャのうちの、１つのＩピクチャと２つのＰピクチャの参照レイヤ情報が０である。また、２つのＢピクチャの参照レイヤ情報が１であり、４つのＢピクチャの参照レイヤ情報が２である。
　従って、参照レイヤ情報が０である１つのＩピクチャと２つのＰピクチャは、参照レイヤ情報が１または２であるＢピクチャを参照することはできない。また、参照レイヤ情報が１である２つのＢピクチャは、参照レイヤ情報が２である４つのＢピクチャを参照することはできない。
　よって、再生装置２は、参照レイヤ情報が閾値以下であるピクチャを選択して復号することにより、参照レイヤ情報が閾値より大きいピクチャを間引いて復号することができる。例えば、再生装置２は、参照レイヤ情報が０以下であるピクチャを選択して復号することにより、参照レイヤ情報が０より大きい６つのＢピクチャを間引いて復号することができる。また、再生装置２は、参照レイヤ情報が１以下であるピクチャを選択して復号することにより、参照レイヤ情報が１より大きい４つのＢピクチャを間引いて復号することができる。その結果、トリックプレイを行うことができる。
　また、再生装置２は、閾値を変更することにより、トリックプレイの粒度を容易に制御することができる。これに対して、picture_typeに基づいてトリックプレイを行う場合、再生装置は、参照関係がわからないため、他のピクチャを参照しないＩピクチャのみを選択して再生することしかできない。
　さらに、図１の記録再生システムでは、図４および図５に示したように、参照レイヤ情報が、先頭ピクチャのSEIに格納されるGOP structure mapに、その先頭ピクチャを含む１GOP分まとめて記述される。
　従って、再生装置２は、GOP structure mapをパースするだけで、GOPを構成する全てのピクチャの参照レイヤ情報を取得することができる。よって、再生装置２は、取得された参照レイヤ情報に基づいて、GOP内の先頭ピクチャ以外のピクチャのうちの、参照レイヤ情報が閾値以下であるピクチャのAUのみをパースし、復号することにより、トリックプレイを容易に行うことができる。
　これに対して、１GOP分の参照レイヤ情報が記述されるGOP structure mapが先頭ピクチャのSEIに格納されない場合、GOPを構成する全てのピクチャのAU内の符号化データのNALヘッダをパースしてnuh_temporal_id_plus1を取得し、各ピクチャを復号するかどうかを判定する必要がある。従って、復号対象ではないピクチャのAUも無駄にパースされる。
　（映像符号化部の構成例）
　図７は、図３の映像符号化部５２の構成例を示すブロック図である。
　図７の映像符号化部５２は、A/D変換部７１、画面並べ替えバッファ７２、演算部７３、直交変換部７４、量子化部７５、可逆符号化部７６、蓄積バッファ７７、逆量子化部７９、逆直交変換部８０、および加算部８１を有する。また、映像符号化部５２は、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９、予測画像選択部９２、およびレート制御部９３を有する。
　映像符号化部５２のA/D変換部７１は、入力された各ピクチャのアナログ信号をA/D変換し、変換後の各ピクチャのデジタル信号を画面並べ替えバッファ７２に出力して記憶させる。
　画面並べ替えバッファ７２は、記憶した表示の順番のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。
　演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより、CU単位で符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。なお、予測画像選択部９２から予測画像が供給されない場合、演算部７３は、画面並べ替えバッファ７２から読み出されたカレントピクチャをそのまま残差情報として直交変換部７４に出力する。
　直交変換部７４は、演算部７３からの残差情報をTU（Transform Unit）単位で直交変換する。直交変換部７４は、直交変換の結果得られる直交変換係数を量子化部７５に供給する。
　量子化部７５は、直交変換部７４から供給される直交変換係数に対して量子化を行う。量子化部７５は、量子化された直交変換係数を可逆符号化部７６に供給する。
　可逆符号化部７６は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部８７から取得する。また、可逆符号化部７６は、最適インター予測モードを示すインター予測モード情報、参照ピクチャを特定する参照ピクチャ特定情報、動きベクトル情報などを動き予測・補償部８９から取得する。さらに、可逆符号化部７６は、フィルタ８２から適応オフセットフィルタ処理に関するオフセットフィルタ情報を取得する。
　可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
　また、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報、並びにオフセットフィルタ情報等を、符号化に関する符号化情報として可逆符号化する。可逆符号化部７６は、可逆符号化された符号化情報などを、スライス単位でスライスヘッダ等に配置する。可逆符号化部７６は、可逆符号化されたスライス単位の直交変換係数にスライスヘッダを付加し、スライス単位の符号化データとして蓄積バッファ７７に供給する。
　蓄積バッファ７７は、可逆符号化部７６から供給されるスライス単位の符号化データを、一時的に記憶する。また、蓄積バッファ７７は、記憶しているスライス単位の符号化データを図３のNAL化部５３に供給する。
　また、量子化部７５より出力された、量子化された直交変換係数は、逆量子化部７９にも入力される。逆量子化部７９は、量子化部７５により量子化された直交変換係数に対して、量子化部７５における量子化方法に対応する方法で逆量子化を行う。逆量子化部７９は、逆量子化の結果得られる直交変換係数を逆直交変換部８０に供給する。
　逆直交変換部８０は、TU単位で、逆量子化部７９から供給される直交変換係数に対して、直交変換部７４における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部８０は、その結果得られる残差情報を加算部８１に供給する。
　加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算することにより、カレントピクチャをCU単位で局所的に復号する。なお、予測画像選択部９２から予測画像が供給されない場合、加算部８１は、逆直交変換部８０から供給される残差情報を復号結果とする。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを、符号化済みのピクチャとしてフィルタ８２に供給する。
　フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、フィルタ処理を行う。具体的には、フィルタ８２は、デブロックフィルタ処理と適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を順に行う。フィルタ８２は、フィルタ処理後の符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７６に供給する。
　フレームメモリ８５は、加算部８１から供給されるカレントピクチャと、フィルタ８２から供給される符号化済みのピクチャを記憶する。カレントピクチャのうちの処理対象のPU（Prediction Unit）であるカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。また、符号化済みのピクチャは、参照ピクチャの候補としてスイッチ８６を介して動き予測・補償部８９に出力される。
　イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
　また、イントラ予測部８７は、画面並べ替えバッファ７２から読み出されたカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
　イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。イントラ予測部８７は、予測画像選択部９２から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７６に供給する。
　なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。
　具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
Figure JPOXMLDOC01-appb-M000001
　Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。
　一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数Cost(Mode)が各予測モードに対して算出される。
Figure JPOXMLDOC01-appb-M000002
　Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
　Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。
　動き予測・補償部８９は、カレントブロックに対して、参照ピクチャの候補を用いて、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと、フレームメモリ８５からスイッチ８６を介して読み出された参照ピクチャの候補とに基づいて、候補となる全てのインター予測モードのカレントブロックの動きベクトルを検出する。なお、インター予測モードとは、カレントブロックのサイズ等を表すモードである。動き予測・補償部８９は、検出された動きベクトルに基づいて参照ピクチャの候補に補償処理を施し、予測画像を生成する。
　また、動き予測・補償部８９は、画面並べ替えバッファ７２から読み出されたカレントピクチャと予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャに対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、参照ピクチャの候補を参照ピクチャに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。
　動き予測・補償部８９は、予測画像選択部９２から最適インター予測モードで生成された予測画像の選択が通知された場合、その予測画像に対応する動きベクトルを表す動きベクトル情報を生成する。そして、動き予測・補償部８９は、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報を、可逆符号化部７６に供給する。
　予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。また、予測画像選択部９２は、最適予測モードの予測画像の選択をイントラ予測部８７または動き予測・補償部８９に通知する。
　レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。
　（ファイル生成部の処理の説明）
　図８は、図３のファイル生成部５０のストリームファイル生成処理を説明するフローチャートである。
　図８のステップＳ１１において、ファイル生成部５０の設定部５１は、GOP structure mapが格納された先頭ピクチャのSEIを含むパラメータセットを設定する。設定部５１は、設定されたパラメータセットを映像符号化部５２とNAL化部５３に供給する。
　ステップＳ１２において、映像符号化部５２は、外部から入力された映像データの各ピクチャをHEVC方式にしたがってCU単位で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図９および図１０を参照して説明する。
　ステップＳ１３において、NAL化部５３は、設定部５１から供給されるパラメータセットと映像符号化部５２から供給される符号化データをNAL化し、NALユニットを生成する。NAL化部５３は、生成されたNALユニットを多重化部５４に供給する。
　ステップＳ１４において、多重化部５４は、NAL化部５３から供給されるNALユニットを、ピクチャ単位でまとめてAUを生成し、１以上のAUからなる映像ストリームを生成する。多重化部５４は、映像ストリームをファイル化部５６に供給する。
　ステップＳ１５において、音声符号化部５５は、入力された音声データを符号化し、その結果得られる音声ストリームをファイル化部５６に供給する。
　ステップＳ１６において、ファイル化部５６は、多重化部５４から供給される映像ストリームと音声符号化部５５から供給される音声ストリームを多重化して、ＡＶストリームを生成する。
　ステップＳ１７において、ファイル化部５６は、ＡＶストリームをファイル化してストリームファイルを生成し、出力する。このストリームファイルは、光ディスク１１に記録される。
　図９および図１０は、図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
　図９のステップＳ３１において、映像符号化部５２のA/D変換部７１（図７）は、入力された各ピクチャのアナログ信号をA/D変換し、変換後の各ピクチャのデジタル信号を画面並べ替えバッファ７２に出力して記憶させる。
　ステップＳ３２において、画面並べ替えバッファ７２は、記憶した表示の順番のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。
　ステップＳ３３において、イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部８７は、画面並べ替えバッファ７２からのカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。
　また、動き予測・補償部８９は、カレントブロックに対して、参照ピクチャの候補を用いて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと動き予測・補償処理の結果生成される予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャに対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、参照ピクチャの候補を参照ピクチャに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。
　ステップＳ３４において、予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。
　ステップＳ３５において、予測画像選択部９２は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部９２は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部８９に通知する。
　動き予測・補償部８９は、この通知に応じて、予測画像に対応するカレントブロックの動きベクトルを表す動きベクトル情報を生成する。そして、ステップＳ３６において、動き予測・補償部８９は、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報を可逆符号化部７６に供給し、処理をステップＳ３８に進める。
　一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部９２は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８７に通知する。そして、ステップＳ３７において、イントラ予測部８７は、イントラ予測モード情報を可逆符号化部７６に供給し、処理をステップＳ３８に進める。
　ステップＳ３８において、演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。
　ステップＳ３９において、直交変換部７４は、演算部７３からの残差情報に対してＴＵ単位で直交変換を施し、その結果得られる直交変換係数を量子化部７５に供給する。
　ステップＳ４０において、量子化部７５は、直交変換部７４から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部７６と逆量子化部７９に供給する。
　図１０のステップＳ４１において、逆量子化部７９は、量子化部７５から供給される量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部８０に供給する。
　ステップＳ４２において、逆直交変換部８０は、逆量子化部７９から供給される直交変換係数に対してＴＵ単位で逆直交変換を施し、その結果得られる残差情報を加算部８１に供給する。
　ステップＳ４３において、加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算し、カレントピクチャを局所的に復号する。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを符号化済みのピクチャとしてフィルタ８２に供給する。
　ステップＳ４４において、フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、デブロックフィルタ処理を行う。
　ステップＳ４５において、フィルタ８２は、デブロックフィルタ処理後の符号化済みのピクチャに対して、LCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理を行う。フィルタ８２は、その結果得られる符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、LCUごとに、オフセットフィルタ情報を可逆符号化部７６に供給する。
　ステップＳ４６において、フレームメモリ８５は、加算部８１から供給されるカレントピクチャと、フィルタ８２から供給される符号化済みのピクチャを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。また、符号化済みのピクチャは、参照ピクチャの候補としてスイッチ８６を介して動き予測・補償部８９に出力される。
　ステップＳ４７において、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報、並びにオフセットフィルタ情報を、符号化情報として可逆符号化する。
　ステップＳ４８において、可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部７６は、ステップＳ４７の処理で可逆符号化された符号化情報をスライス単位でスライスヘッダに配置し、可逆符号化されたスライス単位の直交変換係数に付加することにより、スライス単位の符号化データを生成する。可逆符号化部７６は、スライス単位の符号化データを蓄積バッファ７７に供給する。
　ステップＳ４９において、蓄積バッファ７７は、可逆符号化部７６から供給されるスライス単位の符号化データを、一時的に蓄積する。
　ステップＳ５０において、レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。
　ステップＳ５１において、蓄積バッファ７７は、記憶しているスライス単位の符号化データを、図３のNAL化部５３に出力する。そして、処理は、図８のステップＳ１２に戻り、ステップＳ１３に進む。
　なお、図９および図１０の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
　以上のように、ファイル生成部５０は、参照レイヤ情報を含むSEIを設定する。従って、再生装置２は、SEIに含まれる参照レイヤ情報に基づいて、参照レイヤ情報が閾値以下であるピクチャの符号化データ以外の符号化データをパースすることなく、容易にトリックプレイを行うことができる。
　また、再生装置２は、この閾値を変更することにより、SEIに含まれる参照レイヤ情報に基づいて、トリックプレイの粒度を容易に制御することができる。よって、ファイル生成部５０は、トリックプレイの粒度の制御を容易に可能にする情報を設定することができるといえる。
　（早送り再生部の構成例）
　図１１は、図１の再生装置２のうちの、光ディスク１１に記録されているストリームファイルの映像ストリームを早送り再生する早送り再生部の構成例を示すブロック図である。
　図１１の早送り再生部１１０は、読み出し部１１１、分離部１１２、抽出部１１３、選択部１１４、および復号部１１５により構成される。
　早送り再生部１１０の読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、先頭ピクチャのAUを読み出す。また、読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、選択部１１４から供給される選択ピクチャ情報が表すピクチャのAUを読み出す。読み出し部１１１は、読み出されたAUを分離部１１２に供給する。
　分離部１１２は、読み出し部１１１から供給されるAUを受け取る。分離部１１２は、AUを構成する各NALユニットを分離し、抽出部１１３に供給する。
　抽出部１１３は、分離部１１２から供給されるNALユニットから、パラメータセットとスライス単位の符号化データを抽出し、復号部１１５に供給する。また、抽出部１１３は、パラメータセットのうちの先頭ピクチャのSEIに格納されるGOP structure mapを、選択部１１４に供給する。
　選択部１１４は、抽出部１１３から供給されるGOP structure mapに基づいて、早送り再生の対象とする先頭ピクチャ以外のピクチャを選択する。具体的には、選択部１１４は、GOP structure mapに記述されるGOPを構成する各ピクチャの参照レイヤ情報に基づいて、参照レイヤ情報が閾値以下である先頭ピクチャ以外のピクチャを選択する。この閾値は、例えば、ユーザにより指定された早送り再生の粒度に基づいて決定される。選択部１１４は、選択されたピクチャを表す選択ピクチャ情報を読み出し部１１１に供給する。
　復号部１１５は、抽出部１１３から供給されるスライス単位の符号化データを、HEVC方式にしたがってCU単位で復号する。このとき、復号部１１５は、必要に応じて、抽出部１１３から供給されるパラメータセットも参照する。復号部１１５は、復号の結果得られるピクチャを、図１の表示装置３に出力する。
　（復号部の構成例）
　図１２は、図１１の復号部１１５の構成例を示すブロック図である。
　図１２の復号部１１５は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、および画面並べ替えバッファ１３９を有する。また、復号部１１５は、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７、およびスイッチ１４８を有する。
　復号部１１５の蓄積バッファ１３１は、図１１の抽出部１１３からスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されているピクチャ単位の符号化データを、カレントピクチャの符号化データとして可逆復号部１３２に供給する。
　可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、図７の可逆符号化部７６の可逆符号化に対応する、可変長復号や算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャ特定情報、動きベクトル情報、およびインター予測モード情報を動き補償部１４７に供給する。
　さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。
　逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７は、図７の逆量子化部７９、逆直交変換部８０、加算部８１、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９とそれぞれ同様の処理を行い、これにより、ピクチャがCU単位で復号される。
　具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
　逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。
　加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャをCU単位で局所的に復号する。なお、スイッチ１４８から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報を復号結果とする。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。
　フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してフィルタ処理を行う。具体的には、フィルタ１３６は、まず、復号済みのピクチャに対してデブロックフィルタ処理を行う。次に、フィルタ１３６は、LCUごとに、可逆復号部１３２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の復号済みのピクチャに対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の復号済みのピクチャをフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。
　画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャを記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番の復号済みのピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。
　D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の復号済みのピクチャをD/A変換し、図１の表示装置３に出力する。
　フレームメモリ１４１は、加算部１３５から供給されるカレントピクチャと、フィルタ１３６から供給される復号済みのピクチャを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。
　イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４８に供給する。
　動き補償部１４７は、可逆復号部１３２からのインター予測モード情報、参照ピクチャ特定情報、および動きベクトル情報に基づいて、カレントブロックに対して動き補償処理を行う。
　具体的には、動き補償部１４７は、参照ピクチャ特定情報で特定される参照ピクチャを、フレームメモリ１４１からスイッチ１４２を介して読み出す。動き補償部１４７は、参照ピクチャと動きベクトル情報が表す動きベクトルとを用いて、インター予測モード情報が示す最適インター予測モードのカレントブロックの動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給する。
　スイッチ１４８は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４８は、動き補償部１４７から供給される予測画像を加算部１３５に供給する。
　（早送り再生部の処理の説明）
　図１３は、図１１の早送り再生部１１０の早送り再生処理を説明するフローチャートである。この早送り再生処理は、GOP単位で行われる。
　図１３のステップＳ１１１において、早送り再生部１１０の読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、先頭ピクチャのAUを読み出し、分離部１１２に供給する。
　ステップＳ１１２において、分離部１１２は、読み出し部１１１から供給されるAUを構成する各NALユニットを分離し、抽出部１１３に供給する。
　ステップＳ１１３において、抽出部１１３は、分離部１１２から供給されるNALユニットから、パラメータセットとスライス単位の符号化データを抽出し、復号部１１５に供給する。
　ステップＳ１１４において、早送り再生部１１０は、読み出し部１１１により読み出されたAUが、先頭ピクチャのAUであるかどうかを判定する。ステップＳ１１４で、読み出されたAUが先頭ピクチャのAUであると判定された場合、処理はステップＳ１１５に進む。
　ステップＳ１１５において、抽出部１１３は、ステップＳ１１３で抽出されたパラメータセットのうちの先頭ピクチャのSEIに格納されるGOP structure mapを、選択部１１４に供給する。
　ステップＳ１１６において、選択部１１４は、抽出部１１３から供給されるGOP structure mapに基づいて、早送り再生の対象とする先頭ピクチャ以外のピクチャを選択する。選択部１１４は、選択されたピクチャを表す選択ピクチャ情報を読み出し部１１１に供給し、処理をステップＳ１１７に進める。
　一方、ステップＳ１１４で、読み出されたAUが先頭ピクチャのAUではないと判定された場合、即ち、読み出されたAUが、GOP structure mapを含まない先頭ピクチャ以外のピクチャのAUである場合、ステップＳ１１５およびＳ１１６の処理は行われない。そして、処理はステップＳ１１７に進む。
　ステップＳ１１７において、復号部１１５は、必要に応じて抽出部１１３から供給されるパラメータセットを用いて、抽出部１１３から供給されるスライス単位の符号化データをHEVC方式にしたがってCU単位で復号する復号処理を行う。この復号処理の詳細は、後述する図１４を参照して説明する。
　ステップＳ１１８において、読み出し部１１１は、選択ピクチャ情報が表す全てのピクチャのAUを読み出したかどうかを判定する。ステップＳ１１８で、まだ選択ピクチャ情報が表す全てのピクチャのAUを読み出していないと判定された場合、処理はステップＳ１１９に進む。
　ステップＳ１１９において、読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、選択ピクチャ情報が表すピクチャのAUのうちの、まだ読み出されていないAUを読み出す。そして、処理はステップＳ１１２に戻り、選択ピクチャ情報が表す全てのピクチャのAUが読み出されるまで、ステップＳ１１２乃至Ｓ１１９の処理が繰り返される。
　一方、ステップＳ１１８で、選択ピクチャ情報が表す全てのピクチャのAUを読み出したと判定された場合、処理は終了する。
　図１４は、図１３のステップＳ１１７の復号処理の詳細を説明するフローチャートである。
　図１４のステップＳ１３１において、復号部１１５の蓄積バッファ１３１（図１２）は、図１１の抽出部１１３からスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されているピクチャ単位の符号化データを、カレントピクチャの符号化データとして可逆復号部１３２に供給する。
　ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。
　また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャ特定情報、動きベクトル情報、およびインター予測モード情報を動き補償部１４７に供給する。
　さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。
　ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
　ステップＳ１３４において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。
　ステップＳ１３５において、動き補償部１４７は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３５でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３６に進む。
　ステップＳ１３６において、動き補償部１４７は、可逆復号部１３２からのインター予測モード情報、参照ピクチャ特定情報、および動きベクトル情報に基づいて、カレントブロックに対して動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１３８に進める。
　一方、ステップＳ１３５でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１３７に進む。
　ステップＳ１３７において、イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１３８に進める。
　ステップＳ１３８において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャを局所的に復号する。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。
　ステップＳ１３９において、フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してデブロックフィルタ処理を行い、ブロック歪を除去する。
　ステップＳ１４０において、フィルタ１３６は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ処理後の復号済みのピクチャに対して、LCUごとに適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の画像を、画面並べ替えバッファ１３９とフレームメモリ１４１に供給する。
　ステップＳ１４１において、フレームメモリ１４１は、加算部８１から供給されるカレントピクチャと、フィルタ１３６から供給される復号済みのピクチャとを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。
　ステップＳ１４２において、画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャを記憶し、記憶した符号化のための順番のピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。
　ステップＳ１４３において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるピクチャをD/A変換し、図１の表示装置３に出力する。そして、処理は、図１３のステップＳ１１７に戻り、ステップＳ１１８に進む。
　以上のように、早送り再生部１１０は、SEIに含まれる参照レイヤ情報に基づいて、早送り再生の対象とするピクチャを選択する。従って、早送り再生部１１０は、選択されたピクチャの符号化データ以外の符号化データをパースすることなく、容易に早送り再生を行うことができる。また、早送り再生部１１０は、選択するピクチャに対応する参照レイヤ情報の閾値を変更することにより、SEIに含まれる参照レイヤ情報に基づいて、早送り再生の粒度を容易に制御することができる。
　ここでは、再生装置２の早送り再生部１１０についてのみ説明したが、再生装置２のうちの、映像ストリームに対して巻き戻し再生などの他のトリックプレイを行う部も、表示装置３へのピクチャの出力順序が異なる点などを除いて、早送り再生部１１０と同様である。
　例えば、巻き戻し再生を行う巻き戻し再生部は、早送り再生部１１０と同様に、参照レイヤ情報に基づいて巻き戻し再生の対象とするピクチャを選択して復号し、復号の結果得られる表示の順番のピクチャを逆順に出力する。
　また、第１実施の形態では、再生装置２が、参照レイヤ情報に基づいてトリックプレイを行うようにしたが、光ディスク１１に記録されている映像ストリームのフレームレートより低いフレームレートでの再生を行うようにしてもよい。この場合、再生装置２は、参照レイヤ情報に基づいて選択されたピクチャを、全てのピクチャを復号するときと同一の時間で復号すればよい。従って、再生装置２の処理負荷が軽減し、再生装置２の処理能力が低い場合であっても復号を行うことができる。
　さらに、第１実施の形態では、先頭ピクチャが必ず再生されるようにしたが、先頭ピクチャの参照レイヤ情報が閾値より大きい場合、先頭ピクチャは再生されないようにしてもよい。
　＜第２実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書では、参照レイヤ情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、参照レイヤ情報を伝送する手法はかかる例に限定されない。例えば、参照レイヤ情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、映像ストリームに含まれるピクチャ（スライスやブロックなど、ピクチャの一部であってもよい）と当該ピクチャに対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、参照レイヤ情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、参照レイヤ情報と符号化データとは、例えば、複数ピクチャ、１ピクチャ、又はピクチャ内の一部分などの任意の単位で互いに関連付けられてよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、コンテンツの提供は、放送波やネットワークを介して行われるようにすることもできる。この場合、本開示は、放送波を受信するセットトップボックスやテレビジョン受像機、ネットワークを介してデータを送受信するパーソナルコンピュータなどに適用することができる。
　また、例えば、参照レイヤ情報は、GOP structure map以外のSEIに格納される情報に含まれるようにしてもよい。参照レイヤ情報は、先頭ピクチャ以外のピクチャのSEIや、SEI以外のパラメータセットに格納されるようにしてもよい。
　さらに、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本開示は、以下のような構成もとることができる。
　（１）
　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
　を備える画像処理装置。
　（２）
　前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
　ように構成された
　前記（２）に記載の画像処理装置。
　（４）
　前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
　ように構成された
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）
　前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
　前記付加情報は、SEI（Supplemental Enhancement Information）である
　ように構成された
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　画像処理装置が、
　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定ステップ
　を含む画像処理方法。
　（７）
　コンピュータを、
　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
　として機能させるためのプログラム。
　（８）
　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
　を備える画像処理装置。
　（９）
　前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
　ように構成された
　前記（８）に記載の画像処理装置。
　（１０）
　前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
　ように構成された
　前記（９）に記載の画像処理装置。
　（１１）
　前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
　ように構成された
　前記（８）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）
　前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
　前記付加情報は、SEI（Supplemental Enhancement Information）である
　ように構成された
　前記（８）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）
　前記選択部により選択された前記再生対象のピクチャの符号化データを復号する復号部
　をさらに備える
　前記（８）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）
　画像処理装置が、
　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択ステップ
　を含む画像処理方法。
　（１５）
　コンピュータを、
　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
　として機能させるためのプログラム。
　（１６）
　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、
　前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる
　記録媒体。
　１　記録装置,　２　再生装置,　１１　光ディスク,　５１　設定部,　１１４　選択部,　１１５　復号部

Claims (16)

  1. 　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
    　を備える画像処理装置。
  2. 　前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
    　ように構成された
    　請求項１に記載の画像処理装置。
  3. 　前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
    　ように構成された
    　請求項２に記載の画像処理装置。
  4. 　前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
    　ように構成された
    　請求項１に記載の画像処理装置。
  5. 　前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
    　前記付加情報は、SEI（Supplemental Enhancement Information）である
    　ように構成された
    　請求項１に記載の画像処理装置。
  6. 　画像処理装置が、
    　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定ステップ
    　を含む画像処理方法。
  7. 　コンピュータを、
    　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
    　として機能させるためのプログラム。
  8. 　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
    　を備える画像処理装置。
  9. 　前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
    　ように構成された
    　請求項８に記載の画像処理装置。
  10. 　前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
    　ように構成された
    　請求項９に記載の画像処理装置。
  11. 　前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
    　ように構成された
    　請求項８に記載の画像処理装置。
  12. 　前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
    　前記付加情報は、SEI（Supplemental Enhancement Information）である
    　ように構成された
    　請求項８に記載の画像処理装置。
  13. 　前記選択部により選択された前記再生対象のピクチャの符号化データを復号する復号部
    　をさらに備える
    　請求項８に記載の画像処理装置。
  14. 　画像処理装置が、
    　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択ステップ
    　を含む画像処理方法。
  15. 　コンピュータを、
    　ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
    　として機能させるためのプログラム。
  16. 　ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、
    　前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる
    　記録媒体。
PCT/JP2015/086202 2015-01-09 2015-12-25 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体 WO2016111199A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/108,818 US10390047B2 (en) 2015-01-09 2015-12-25 Image processing apparatus and image processing method for controlling the granularity in trick play
EP15874421.9A EP3244615A4 (en) 2015-01-09 2015-12-25 Image processing device, image processing method, and program, and recording medium
CN201580003681.XA CN106105221B (zh) 2015-01-09 2015-12-25 图像处理设备、图像处理方法以及记录介质
JP2016536970A JP6690536B2 (ja) 2015-01-09 2015-12-25 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-002890 2015-01-09
JP2015002890 2015-01-09

Publications (1)

Publication Number Publication Date
WO2016111199A1 true WO2016111199A1 (ja) 2016-07-14

Family

ID=56358129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086202 WO2016111199A1 (ja) 2015-01-09 2015-12-25 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体

Country Status (5)

Country Link
US (1) US10390047B2 (ja)
EP (1) EP3244615A4 (ja)
JP (1) JP6690536B2 (ja)
CN (1) CN106105221B (ja)
WO (1) WO2016111199A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7532362B2 (ja) 2019-06-20 2024-08-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
WO2012096806A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. High layer syntax for temporal scalability
JP2013158003A (ja) 2010-02-12 2013-08-15 Sony Corp 再生装置、記録媒体、および情報処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101827A1 (ja) * 2004-04-16 2005-10-27 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
EP1827023A1 (en) 2006-02-27 2007-08-29 THOMSON Licensing Method and apparatus for packet loss detection and virtual packet generation at SVC decoders
US10136118B2 (en) * 2008-07-20 2018-11-20 Dolby Laboratories Licensing Corporation Compatible stereoscopic video delivery
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
KR20120015443A (ko) * 2009-04-13 2012-02-21 리얼디 인크. 향상된 해상도의 스테레오스코픽 비디오의 엔코딩, 디코딩 및 배포
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
BR112013004460A2 (pt) * 2010-09-03 2016-06-07 Sony Corp dispositivo e método de processamento de imagem
EP2659676A4 (en) * 2010-12-27 2018-01-03 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for processing of encoded video
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US20130308926A1 (en) * 2012-05-17 2013-11-21 Gangneung-Wonju National University Industry Academy Cooperation Group Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
WO2014051409A1 (ko) * 2012-09-28 2014-04-03 삼성전자 주식회사 참조 픽처 정보를 이용한 병렬 처리 비디오 부호화 방법 및 장치, 병렬 처리 비디오 복호화 방법 및 장치
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US10194182B2 (en) * 2014-02-03 2019-01-29 Lg Electronics Inc. Signal transmission and reception apparatus and signal transmission and reception method for providing trick play service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
JP2013158003A (ja) 2010-02-12 2013-08-15 Sony Corp 再生装置、記録媒体、および情報処理方法
WO2012096806A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. High layer syntax for temporal scalability

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JILI BOYCE ET AL.: "Extensible High Layer Syntax for Scalability", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-E279_R3, 5TH MEETING, March 2011 (2011-03-01), Geneva, CH, pages 1 - 10, XP030008785 *
JILL BOYCE ET AL.: "High layer syntax to improve support for temporal scalability", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-D200, 4TH MEETING, January 2011 (2011-01-01), Daegu, KR, pages 1 - 14, XP030008240 *
MISKA M. HANNUKSELA ET AL.: "Indication of the temporal structure of coded video sequences", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-H0423R3, 8TH MEETING, February 2012 (2012-02-01), San Jose, CA , USA, pages 1 - 5, XP030051824 *
See also references of EP3244615A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7532362B2 (ja) 2019-06-20 2024-08-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
EP3244615A4 (en) 2018-06-20
CN106105221A (zh) 2016-11-09
CN106105221B (zh) 2021-05-04
US10390047B2 (en) 2019-08-20
JP6690536B2 (ja) 2020-04-28
EP3244615A1 (en) 2017-11-15
JPWO2016111199A1 (ja) 2017-10-19
US20170302964A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6585223B2 (ja) 画像復号装置
CN107018424B (zh) 图像处理装置和图像处理方法
US10764574B2 (en) Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
JP6465863B2 (ja) 画像復号装置、画像復号方法及び記録媒体
EP2476256B1 (en) Video editing and reformating for digital video recorder
JP7354260B2 (ja) Ｍｒｌ基盤のイントラ予測を実行する映像コーディング方法及び装置
RU2690439C2 (ru) Устройство и способ кодирования изображений и устройство и способ декодирования изображений
US10027988B2 (en) Image processing device and method
EP4117291A1 (en) Mixed nal unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
JP2015195543A (ja) 画像復号装置、画像符号化装置
EP4117290A1 (en) Mixed nal unit type-based image encoding/decoding method and device, and method for transmitting bitstream
US9648336B2 (en) Encoding apparatus and method
TWI789661B (zh) 用於虛擬參考解碼器和輸出層集的視頻資料流、視頻編碼器、裝置及方法
US20240267549A1 (en) High level syntax signaling method and device for image/video coding
JP6690536B2 (ja) 画像処理装置、画像処理方法、およびプログラム
RU2806784C1 (ru) Способ и устройство кодирования/декодирования изображений на основе смешанного типа nal-единицы и способ для передачи потока битов
CN114747215B (zh) 调色板编码或变换单元的基于量化参数信息的图像或视频编码
RU2812029C2 (ru) Способ и устройство кодирования/декодирования изображений на основе смешанного типа nal-единицы и способ для передачи потока битов
KR20230017236A (ko) 픽처 출력 관련 정보 기반 영상 또는 비디오 코딩
JPWO2015098713A1 (ja) 画像復号装置および画像符号化装置
KR20220070533A (ko) 인코더, 디코더 및 대응하는 방법
JP2015035785A (ja) 動画像符号化装置、撮像装置、動画像符号化方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016536970

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15108818

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015874421

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015874421

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15874421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE