Nothing Special   »   [go: up one dir, main page]

WO1998058497A1 - Image processing device and method, and transmission medium, transmission method and image format - Google Patents

Image processing device and method, and transmission medium, transmission method and image format Download PDF

Info

Publication number
WO1998058497A1
WO1998058497A1 PCT/JP1998/002646 JP9802646W WO9858497A1 WO 1998058497 A1 WO1998058497 A1 WO 1998058497A1 JP 9802646 W JP9802646 W JP 9802646W WO 9858497 A1 WO9858497 A1 WO 9858497A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
data
image
thinned
pixels
Prior art date
Application number
PCT/JP1998/002646
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Tomonori Okuwaki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to IL12842398A priority Critical patent/IL128423A/xx
Priority to US09/242,348 priority patent/US6463178B1/en
Priority to EP98924641A priority patent/EP0920215A4/en
Publication of WO1998058497A1 publication Critical patent/WO1998058497A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a transmission medium, a transmission method, and an image format, and more particularly, to an image processing apparatus and an image capable of reducing deterioration in image quality and the like of a moving image.
  • the present invention relates to a processing method, a transmission medium, a transmission method, and an image format.
  • interlaced scanning is one of the scanning methods for displaying moving images.
  • each frame is composed of pixels (indicated by a triangle in the figure), and transmission and recording are performed in terms of image quality and resolution.
  • the first screen (field in the case of interlaced scanning) thins out the pixels of the odd lines (indicated by marks in the same figure), and removes the pixels of the even lines.
  • the next screen consists of only the pixels (indicated by ⁇ in the figure) and the pixels in the even lines (indicated by ⁇ in the figure) are thinned out, and the pixels on the odd lines (indicated by ⁇ in the figure)
  • the next screen is configured in the same way as the first screen, and the screens are configured in the same manner. -Here, interlaced scanning is used to reduce the amount of information.
  • interlace thinning As appropriate, the vertical resolution of an image depends on the number of lines. Therefore, when the interlace thinning is performed, the vertical resolution of the image after the thinning is 1Z2 which is the vertical resolution of the image before the thinning. As a result, it was difficult to express fast changes in the vertical direction, and there was a problem that such movements deteriorated the image quality. Disclosure of the invention
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of reducing deterioration in image quality due to thinning, and a transmission medium, a recording medium, and an image format. is there.
  • An image processing apparatus and method for processing image data constituting a moving image according to the present invention include a five-eye grid in both a spatial direction and a temporal direction with respect to pixels of each frame constituting the moving image. It is characterized in that thinned-out image data is generated by thinning out pixels for each frame so as to be in a format, and the thinned-out image data is output. Further, the image processing apparatus and method according to the present invention further generate corrected thinned-out image data by performing bit thinning in the level direction of each pixel constituting the thinned-out image data, It is characterized by outputting image data.
  • a transmission method for transmitting data generated by thinning out pixels of image data constituting a moving image, and a transmission medium is provided in a spatial direction and a time direction with respect to the pixels of each frame constituting the moving image. It is characterized in that thinned-out image data is generated by thinning out pixels for each frame so as to form a quincunx lattice format in both directions, and the thinned-out image data is transmitted. Further, the transmission method and the transmission medium according to the present invention further generate corrected thinned image data by performing bit thinning in the pixel level direction on each pixel constituting the thinned image data. The modified thinned image data is transmitted as transmission data.
  • the image format of the moving image according to the present invention is such that each frame constituting the moving image has a quincunx lattice format in both the spatial and temporal directions with respect to the pixels of each frame. It is characterized in that pixel thinning is performed every time. Further, the image format according to the present invention is characterized in that, for each pixel of the data thinned out for each frame, bit thinning in the level direction of the pixel is performed.
  • An image processing apparatus which processes thinned data generated by thinning out pixels of image data constituting a moving image, comprises: (a) processing a pixel in each frame constituting a moving image in both a spatial direction and a temporal direction; Receiving means for receiving thinned-out image data generated by thinning out pixels for each frame so as to form a grid-like format of Restoration means for restoring the original image data.
  • the restoration means determines a predetermined class representing the property of the pixel of interest in the thinned-out image data for the thinned pixel of interest, and according to the determined class.
  • the generating means has a memory for storing, for each class, prediction data generated by learning in advance for each class using image data that constitutes a moving image as standard.
  • the prediction data corresponding to the determined class is read, and original pixel data is generated based on the read prediction data.
  • An image processing apparatus which processes thinning data generated by thinning out pixels of image data constituting a moving image, comprises: a spatial direction and a temporal direction for pixels of each frame constituting a moving image.
  • Each pixel of the decimated image data generated by decimating the pixel for each frame so that the format becomes a quincunx grid-like format is obtained by further decimating the bit in the level direction of the pixel.
  • La Receiving means for receiving the modified thinned image data, generating thinned image data by generating original pixels for each bit thinned pixel of the corrected thinned image data, and thinning pixel data of the thinned image data.
  • restoration means for restoring the original image data from the image data.
  • the restoration means includes: a first determination means for determining a predetermined class representing the property of the target bit-thinned pixel of the bit-thinned image data; Attention is paid to first generating means for generating the original pixel data by predicting the original pixel according to the class obtained and the thinned image data comprising the pixel data generated by the first generating means.
  • a second determining means for determining a predetermined class representing a property of the thinned pixel, and a second determining means for predicting an original pixel according to the determined class and generating original pixel data It is characterized by comprising generating means.
  • the first generating means includes a memory for storing, for each class, prediction data generated by learning in advance for each class using image data that constitutes a moving image as a standard.
  • Read prediction data corresponding to the class determined by the first determination means generate original pixel data based on the read prediction data
  • each of the second generation means A memory for storing, for each class, prediction data generated by learning in advance for each class using image data constituting a dynamic image, and corresponding to the class determined by the second determining means.
  • the prediction data is read, and the original pixel data is generated based on the read prediction data.
  • FIG. 1 is a diagram showing an image before interlace thinning is performed.
  • FIG. 2 is a diagram showing an image after interlace thinning has been performed.
  • FIG. 3 is a block diagram showing a configuration example of the first embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 4 is a diagram for explaining the processing of the sub-sampling circuit 2 in FIG.
  • FIG. 5 is a diagram for explaining the processing of the sub-sampling circuit 2 in FIG.
  • FIG. 6 is a diagram for explaining the processing of the sub-sampling circuit 2 in FIG.
  • FIG. 7 is a diagram illustrating a spatial frequency band of an image output from the sub-sampling circuit 2 in FIG.
  • FIG. 8 is a diagram showing a spatial frequency band of an image obtained by performing simple fifth-culling.
  • FIG. 9 is a diagram for explaining the processing of the blocking circuit 11 of FIG.
  • FIG. 10 is a diagram for explaining the processing of the clustering circuit 12 of FIG.
  • FIG. 11 is a diagram for explaining A D R C used for clustering.
  • FIG. 12 is a block diagram showing a configuration example of a first embodiment of a learning device for obtaining prediction data in the first embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 13 is a block diagram showing a configuration example of a second embodiment of the learning apparatus for obtaining prediction data in the first embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 14 is a diagram for explaining the processing of the blocking circuit 11 of FIG.
  • FIG. 15 is a block diagram showing a configuration example of the second embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 16 is a block diagram showing a configuration example of the third embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 17 is a diagram for explaining the processing of the clustering circuit 53 of FIG.
  • FIG. 18 is a block diagram showing a configuration example of a first embodiment of a learning device for obtaining prediction data in a second embodiment of the transmission / reception system to which the present invention is applied.
  • FIG. 19 is a block diagram illustrating a configuration example of a second embodiment of a learning device that obtains prediction data in the second embodiment of the transmission / reception system to which the present invention has been applied.
  • FIG. 3 shows the first transmission / reception system to which the present invention is applied (a system is a system in which a plurality of devices are logically aggregated, and it does not matter whether each device is in the same housing or not). 2 shows a configuration example of the embodiment.
  • This transmission / reception system includes a transmission device 10D and a reception device 20D.
  • the transmission device 10D includes an input terminal 1, a sub-sampling circuit 2, an encoder 3, a transmission processing circuit 4, and an output terminal 5, and compresses and transmits the image data by thinning out pixels.
  • the receiving device 20 D has an input terminal 7, a receiving processing circuit 8, a decoder 9, a synthesizing circuit 10, a blocking circuit 11, a clustering circuit 12, a memory 13, an interpolation data generating circuit 14, and an output. It comprises a terminal 15 and expands the compressed image data from the transmitting device 10D.
  • all-pixel moving image is obtained by a so-called progressive camera (a video camera that scans all pixels on a photoelectric conversion element in a so-called raster scan order and outputs it as a one-frame image signal), or a so-called progressive camera. It can be obtained by a pixel camera (a video camera that outputs the signals of all the pixels on the photoelectric conversion element at a time as one frame of image signal).
  • This digital image data is supplied to the sub-sampling circuit 2 via the input terminal 1.
  • the pixels of each frame constituting the moving image as the digital image data are thinned out in a quincunx grid in both the spatial direction and the temporal direction, for example, as shown in FIG. Compressed.
  • both the reference mark and the ⁇ mark indicate the pixels of the frame constituting the all-pixel moving image.
  • the reference symbols therein indicate pixels decimated in the sub-sampling circuit 2 (hereinafter, appropriately referred to as decimated pixels (pixel data)). This shows pixels remaining after the thinning is performed in the sub-sampling circuit 2 (hereinafter, appropriately referred to as “thinned-out pixels (pixel data)”).
  • the second column of the first line, the fourth system IJ, the sixth system U In the 8th row, ⁇ ⁇ ⁇ , the pixels in the 1st row, 3rd row, 5th row, 7th row, ⁇ ⁇ 'on the second line (indicated by reference marks in the same figure (A)) are thinned out,
  • thinning is performed in the spatial direction in the form of a quincunx lattice.
  • the second frame for example, as shown in Fig.
  • the quincunx is thinned out in a quincunx grid in both the spatial direction and the temporal direction (hereinafter referred to as quintuple culling in space and time).
  • quintuple culling in space and time.
  • Every other pixel in both the spatial and temporal directions will be present. Therefore, the information amount after the space / time thinning-out is simply 1/2 of the original information amount as in the case of the above-described interlace thinning-out.
  • Fig. 7 shows the spatial frequency band of the image after thinning out the space / time (see Fig. 7). In the figure). As shown in the figure, the spatial frequency band of the image after the culling of space time 5 becomes rectangular, as a result, the horizontal and vertical resolutions, as well as the diagonal resolutions, are maintained to some extent .
  • Fig. 8 shows the results after the thinning is performed in the spatial grid direction in the form of a quincunx grid (the quintuple thinning where the pixels to be culled in adjacent frames are unchanged).
  • the spatial frequency band of the image (part shaded in the figure) is shown. In this case, the spatial frequency band becomes diamond-shaped, so that the horizontal and vertical resolutions are maintained at the original resolution, but the resolution in the diagonal direction is reduced to the original 1Z2.
  • the amount of information can be reduced, and the resolution in any of the horizontal direction, the vertical direction, and the oblique direction can be maintained.
  • it is possible to express a fast change in any of these directions and it is possible to reduce (prevent) deterioration of the image quality when such a movement is present.
  • the resolution in the oblique direction will be reduced even if the spatial Z time is thinned out five times.
  • thinned-out image data composed of thinned-out pixels (pixel data) subjected to space / time thinning-out in the sub-sampling circuit 2 is supplied to the encoder 3.
  • data from the sub-sampling circuit 2 image data composed of decimated pixels (pixel data)
  • the high-efficiency coding method for example, a hybrid method using orthogonal transform such as DCT (Discrete Cosine Transform) and motion compensation, a hybrid method using DCT and quantization, and an ADRC (Adaptive Dynamic Range Coding).
  • the ADRC has been proposed in, for example, UnitedStatePatentNo.4, 703, 352 (IssuedDate: October27, 1987).
  • the thinned image data is obtained by highly efficient encoding.
  • the encoded data obtained is supplied to the transmission processing circuit 4.
  • the coded data from the encoder 3 is subjected to necessary signal processing such as error correction, packetization, channel coding, etc., and the resulting transmission data is output. Output via terminal 5.
  • This transmission data is transmitted via a predetermined transmission path 6.
  • the transmission line 6 includes, for example, a satellite line, a terrestrial wave, a CATV network, a public network, an Internet, and other communication lines, as well as, for example, a magnetic recording / reproducing process, a magnetic disk, and an optical disk. Also included are magnetic tapes, magneto-optical disks, and other recording media.
  • the transmission data from the transmission line 6 is received by the reception processing circuit 8 via the input terminal 7 of the receiving device 20D.
  • necessary signal processing such as channel decoding, unpacketization, and error correction is performed on the transmission data, and the resulting encoded data is supplied to the decoder 9.
  • the decoder 9 decodes the encoded data in the decoding process corresponding to the encoding process of the encoder 3 of the transmission device 10D, thereby obtaining the thinned image data including the thinned pixels (pixel data).
  • pixel data are supplied to the synthesizing circuit 10 and the blocking circuit 11.
  • the blocking circuit 11 includes four pixels (pixels) adjacent to the predetermined position (the position to be interpolated) adjacent to the pixel X of interest in the spatial direction above, below, left, and right.
  • Data) a, b, c, and d are made into one block to generate class taps and pre-tap, and the class tap is supplied to the clustering circuit 12 and the prediction tap is supplied to the interpolation data generation circuit 14, respectively.
  • the blocking circuit 11 configures a block composed of pixels after thinning (pixel data) adjacent to the top, bottom, left, and right of all the thinned pixels, and the clustering circuit 12 as a class tap and the prediction tap. Are supplied to the interpolation data generation circuit 14 respectively.
  • the class tap and the prediction tap are the same.
  • the clustering circuit 12 clusters the blocks from the blocking circuit 11 into a predetermined class according to the properties of the thinned-out pixels constituting the blocks. 1.
  • clustering will be briefly described. For example, as shown in Fig. 10 (A), consider a block (class tap) consisting of 2 x 2 pixels, where each pixel is represented by 1 bit (either 0 or 1). As shown in Fig. 10 (B), this 2 x 2 block of 4 pixels (cluster) has the following structure: 1 6 (2 (2 1 )) Classification into patterns is possible. Such classification is called clustering, and is performed in the clustering circuit 12.
  • each pixel is assigned, for example, about 8 bits (to represent the pixel value).
  • the block (class tap) includes four pixels. Therefore, if clustering is performed on such blocks (class taps), an enormous number of classes (2 8 ) 4 will occur.
  • the clustering circuit 12 performs, for example, ADRC processing on the block (class tap), thereby reducing the number of bits of the pixels constituting the block and the number of classes.
  • the minimum value MIN is subtracted from each pixel value in the block, and the subtracted value is divided by DR 2 K. Then, it is converted to a code (ADR C code) corresponding to the resulting division value.
  • ADR C code a code corresponding to the resulting division value.
  • the range of the second lowest level If it belongs to the range of the bell, the range of the second lowest level, the range of the third lowest level, or the range of the highest level, for example, 0 0 B, 0 1 B, 10 It is encoded into two bits, such as B, or 11B (where B is a binary number).
  • the decryption is performed by dividing ADRC code 0 B, 0 1 B, 10 B, or 11 B into, for example, the center of the lowest level range obtained by dividing the dynamic range DR into four equal parts. Convert the value to L 0 0, the center value L 0 1 of the second lowest level range, the center value L 10 of the third lowest level range, or the center value L 11 of the highest level range Then, the minimum value MIN can be added to that value.
  • clustering is performed based on the level itself of each pixel constituting a block (class tap). For example, the tendency of the level of pixels constituting a block (cluster tap) (for example, all pixels) If the levels of the pixels are almost the same, the level of the right pixel is higher or lower than the level of the other pixels, etc.).
  • the class obtained by the above clustering is given as an address to the memory 13.
  • the memory 13 stores, for each class, prediction data for predicting a decimated pixel X which is decimated from the pixels constituting the all-pixel moving image, and is given a class as an address from the clustering circuit 12. Then, the prediction data corresponding to the class is read and supplied to the interpolation data generation circuit 14.
  • the noticed thinned pixel X at a predetermined position is replaced with thinned pixels (pixel data) a to d (pixel data) adjacent to the upper, lower, left, and right sides thereof.
  • pixel data thinned pixels
  • pixel data a to d
  • Sets of coefficients w1, w2, w3, w4 of the linear linear equation for prediction by a linear linear equation using (prediction taps) are stored as prediction data. Accordingly, from the memory 13 to the interpolation data generation circuit 14, the set of coefficients wl to w4 force prediction data corresponding to the class for the thinned pixel of interest is supplied.
  • the interpolation data generation circuit 14 When the interpolation data generation circuit 14 receives the coefficient sets w1 to w4 as the prediction data, the interpolation data generation circuit 14 receives the coefficient sets w1 to w4 as the prediction data and supplies the coefficient sets w1 to w4 from the blocking circuit 11. Using the pixel values a to d of the decimated pixels (pixel data) constituting the block (prediction tap), the following linear linear expression is calculated to generate the target decimated pixel (pixel data) X (prediction) I do.
  • the thinned pixel of interest (pixel data) X obtained by the interpolation data generation circuit 14 is output to the synthesis circuit 10.
  • the synthesizing circuit 10 selects the decimated pixels (pixel data) supplied from the decoder 9 at the timing of outputting the decimated pixels, and supplies from the interpolation data generating circuit 14 at the timing of outputting the decimated pixels. Select the thinned pixel (pixel data) and output from the output terminal 15. As a result, from the output terminal 15, data of a frame constituting the moving image of all pixels is output.
  • a set of coefficients w 1, w 2, w 3, w 4 as prediction data for constructing the linear linear expression of equation (1) is used to obtain a thinned pixel (pixel data) X. It is required by learning.
  • FIG. 12 shows an example of a configuration of an embodiment of a learning device that performs learning for obtaining a set of coefficients w1, w2, w3, and w4 as prediction data.
  • a learning all-pixel moving image is input, for example, in frame units.
  • the learning all-pixel moving image is a standard one in consideration of the creation of the coefficient sets w1, w2, w3, and w4 of the prediction data.
  • the frame of the all-pixel moving image input to the input terminal 21 is supplied to the blocking circuit 22.
  • the blocking circuit 22 includes the pixels constituting the frame supplied thereto.
  • the pixel (pixel data) to be the target thinned pixel X shown in FIG. 9 is set as the target pixel (pixel data), and the pixels a to d after the target pixel (pixel data) are thinned out.
  • (Pixel data) and configure a block (class tap and prediction tap) with the four pixels (pixel data) Supply to Road 24.
  • the blocking circuit 22 adds a total of 5 pixels (pixel data) obtained by adding the pixel of interest (pixel data) to the 4 pixels (pixel data) constituting the block to the input terminal IN of the data memory 23. Supply.
  • the clustering circuit 24 clusters the blocks (class taps) supplied thereto, as in the clustering circuit 12 in FIG. 3, and supplies the resulting class to the terminal 25a of the switch 25.
  • the switch 25 selects the terminal 25a until the clustering of all blocks obtained from the all-pixel moving image for learning ends, and accordingly, the switch 25 outputs the signals output from the clustering circuit 24.
  • the class for the thinned pixel of interest is supplied to the address terminal AD of the data memory 23 via the switch 25.
  • the data memory 23 stores the image data supplied to the input terminal IN in an address corresponding to the class supplied to the address terminal AD.
  • the target pixels (pixel data) of the blocks classified into a predetermined class C 1 ass are represented by ⁇ ,, X 2, ⁇ ⁇ ⁇ xn.
  • the pixels (pixel data) adjacent to the pixel of interest (pixel data) X1 above, below, left and right are a1, b1, c1, d1, and the pixels adjacent to the pixel of interest (pixel data) X2 above, below, left, and right
  • the pixels to be processed (pixel data) are a2, b2, c2, d2,...
  • the pixels (pixel data) adjacent to the pixel of interest (pixel data) Xn above, below, left and right are an , bn, cn, dn, respectively.
  • the addresses corresponding to the class Class in the memory 23 include X 1, 2,..., X n, a 1, a 2,. , b2, ⁇ , bn, c1, c2, ⁇ , cn, d1, d2, ⁇ , dn are stored as pixel data.
  • switch 25 selects terminal 25b.
  • the output of the counter 26 is supplied to the terminal 25b.
  • the counter 26 counts a predetermined clock CK, and thereby the address that changes sequentially is output. It has been made to happen. Therefore, the address generated by the counter 26 is output via the switch 25.
  • the address output from counter 26 through switch 25 is the data memory
  • the stored contents (the pixel of interest (pixel data) and its four adjacent pixels (pixel data)) are read out, and the least squares arithmetic circuit 2
  • the least-squares arithmetic circuit 27 stores the data X 1, X 2,..., X 1 stored in the address of the data memory 23 corresponding to the class C class. ⁇ , an, D 1, b 2, ⁇ , bn, cl, c 2, ⁇ , cn, dl, d 2, ⁇ , dn.
  • x 2 w 1 a 2 + w2 b 2 + w3 c 2 + w4 d 2
  • x n w 1 a n + w 2 b n + w 3 c n + w4 d n
  • the least-squares method operation circuit 27 solves the simultaneous equations of the equation (2) by the least-squares method, thereby obtaining a set w 1 of coefficients as prediction data for the class Class.
  • Prediction data for other classes can be obtained in the same way.
  • the set of coefficients w 1 to w 4 as the prediction data obtained by the least squares operation circuit 27 is supplied to the memory 28. Therefore, the set of coefficients w 1 to w 4 as the prediction data for the class C 1 ass is stored in the memory 23 as data X 1, X 2,..., X n, a 1, a 2,. , An, b 1, b 2,..., Bn, cl, c 2,..., Cn, d 1, d 2,. It is stored in the address of 8.
  • a set of coefficients as prediction data for other classes is stored in the memory 28 in the same manner.
  • the prediction data stored in the memory 28 as described above is stored in the memory 13 in FIG.
  • the pixel values themselves should be stored as the prediction data instead of the set of coefficients for calculating the linear linear equation shown in equation (1). Can be.
  • FIG. 13 shows a configuration example of a second embodiment of the learning apparatus for obtaining the prediction data when the pixel values are stored in the memory 13 as the prediction data.
  • a learning all-pixel moving image is input to the input terminal 21, and the frame of the all-pixel moving image is supplied to the blocking circuit 22.
  • the blocking circuit 22 constructs a block (class tap) from the pixels constituting the frame supplied thereto in the same manner as in FIG. 12 and supplies it to the clustering circuit 24. Further, the blocking circuit 22 supplies only the target pixel (pixel data) to be the target thinned pixel X to the computing unit 34.
  • the clustering circuit 24 clusters the blocks (class taps) supplied thereto in the same manner as the clustering circuit 12 of FIG. 3, and classifies the resulting class with the address terminal AD of the data memory 30 and the frequency It is supplied to the address terminal AD of the memory 31.
  • the contents of the data memory 30 and the frequency memory 31 are cleared to 0 before learning is started.
  • the frequency memory 31 when the class as an address is supplied to the address terminal AD, the frequency as the storage content of the address is read out and output from the output terminal OUT.
  • the frequency output from the frequency memory 31 is supplied to the arithmetic unit 32 and incremented by one.
  • the increment result is supplied to the input terminal IN of the frequency memory 31 and is stored (overwritten) in the address where the frequency before the increment was stored.
  • the data memory 30 when a class as an address is supplied to the address terminal AD, the stored contents of the address are read out and output from the output terminal OUT.
  • the output of the data memory 30 is supplied to the arithmetic unit 33.
  • the frequency output from the frequency memory 31 is also supplied to the arithmetic unit 33, where the frequency is multiplied by the output of the data memory 30. The result of this multiplication is supplied to the computing unit 34.
  • the arithmetic unit 34 In the arithmetic unit 34, the multiplication result in the arithmetic unit 33 and the pixel value of the pixel of interest (pixel data) from the blocking circuit 22 are added, and the added value is supplied to the arithmetic unit 35 .
  • the arithmetic unit 35 is also supplied with the result of increment of the frequency by the arithmetic unit 32, where the addition result of the arithmetic unit 34 is used as a dividend and the increment result of the adder 32 is calculated. Division is performed as the divisor. The result of the division is supplied to the input terminal IN of the data memory 30 and is stored (overwritten) in the address corresponding to the class output from the clustering circuit 24.
  • the address ad having the data memory 30 and the frequency memory 31 is accessed first, the data supplied from the blocking circuit 22 to the calculator 34 is obtained.
  • the data X1 is written as it is to the address ad of the data memory 30, and 1 is written to the address ad of the frequency memory 31. Thereafter, access to the address ad is performed again.
  • the data memory 30 stores the average value of the pixel values of the target pixel (pixel data) classified into each class.
  • the pixel values stored in the data memory 30 are stored in the memory 13 of FIG. 3 as prediction data, the pixel values as the prediction data must be read out from the memory 13. Since the thinning pixels are predicted, it is not necessary to provide the interpolation data generating circuit 14.
  • a block can be composed of a total of 6 pixels (pixel data) of a certain pixel (pixel data) f after decimation.
  • a block (class tap or prediction tap) can be composed of only pixels after thinning in the time direction of the thinned pixel X of interest.
  • the decimated pixel used for clustering and the decimated pixel used for calculating the linear linear expression shown in Equation (1) are the same. However, they need not be the same. That is, separate sets of pixels after thinning can be used for the clustering and the operation of equation (1). Note that the method of extracting class taps and prediction taps may be adaptively changed according to the spatial characteristics (activity) and movement of the image. Also, the thinned pixel used for clustering and the thinned pixel used to calculate the linear linear expression shown in Equation (1) need not be spatially or temporally adjacent to the thinned pixel. . However, it is desirable to use pixels after thinning that are around the thinning pixels.
  • the class is determined based on spatial activity using ADRC processing in the clustering circuit
  • the movement of the block may be detected and the movement used for the class, or the combination of ADRC processing and motion detection may be used. You may decide which class you were in.
  • the combining circuit 10 becomes unnecessary.
  • each pixel of each frame constituting a moving image has 8 bits, but the present invention is not limited to this, and there are more than 8 bits such as 10 bits and 12 bits. It could be a bit or, of course, less than 8 bits.
  • the thinned-out pixels are predicted using the prediction data obtained by performing the learning, and thus the thinned-out pixels are included in the image composed of the thinned-out pixels. Although no high-frequency components can be restored, restoration of thinned pixels can also be performed by simple interpolation.
  • FIG. 15 shows a configuration example of a second embodiment of such a transmission / reception system.
  • this transmission / reception system is the same as the transmission / reception system of FIG. 3 except that an interpolation filter 40 is provided instead of the blocking circuit 11, the clustering circuit 12, the memory 13, and the interpolation data generation circuit 14. It is configured similarly to.
  • the interpolation filter 40 calculates the average value of the decimated pixels (pixel data) around the decimated pixels among the decimated pixels (pixel data) from the decoder 9, and calculates the average value of the decimated pixels (pixel data). Is output to the synthesis circuit 10 as the interpolation value of
  • the high-frequency components cannot be restored unless they are included in the image data composed of the decimated pixels (pixel data). Can be simplified.
  • FIG. 16 illustrates a configuration example of a transmission / reception system according to the third embodiment.
  • parts corresponding to those in FIG. 3 are denoted by the same reference numerals.
  • the transmitting / receiving system includes a transmitting device 10D and a receiving device 20D.
  • the transmitting device 10D includes an input terminal 1, a sub-sampling circuit 2, a bit dropping circuit 51, an encoder 3, a transmission processing circuit 4, and an output terminal 5, and thins out pixels of image data.
  • the data is compressed and transmitted by reducing the bits in the level direction of the decimated pixels, and the receiving device 20D has an input terminal 7, a reception processing circuit 8, a decoder 9, a blocking circuit 5 2.Clustering circuit 53, Memory 54, Pixel data creation circuit 55, Image memory 56, Synthesis circuit 10, Blocking circuit 11, Clustering circuit 12, Memory 13, Interpolation data creation circuit 14 , And an output terminal 15 to expand the compressed image data from the transmission device 10D.
  • the transmitting device 10 D stores a video of a moving image (hereinafter, appropriately referred to as an all-pixel moving image) constituting each frame.
  • Digital image data is provided. It is assumed that each pixel constituting the digital image data is, for example, 12 bits.
  • This digital image data is supplied to the sub-sampling circuit 2 via the input terminal 1.
  • sub-sampling circuit 2 In sub-sampling circuit 2,
  • the pixels of each frame constituting the moving image as the digital image data are, for example, as shown in FIG. 4, in both the spatial direction and the temporal direction. It is compressed by thinning it into a five-mesh grid.
  • the quincunx is thinned in a grid pattern of five in both the spatial direction and the temporal direction (hereinafter referred to as space / time quintuple thinning as appropriate).
  • space / time quintuple thinning in both the direction and the time direction.
  • thinned-out image data in which every other pixel exists is generated.
  • thinned-out image data composed of thinned-out pixels (pixel data) subjected to space / time thinning-out is supplied to the bit dropping circuit 51.
  • bit removing circuit 51 of the 12 bits of each pixel (pixel data) of the supplied thinned-out image data, LSB (LeastStigngnificant) is selected.
  • the corrected thinned-out image data is encoded with high efficiency and supplied to the transmission processing circuit 4 as encoded data.
  • the coded data is subjected to necessary signal processing such as error correction, packetization, channel coding, and the like.
  • the resulting transmission data is output via the output terminal 5.
  • This transmission data is similarly transmitted via a predetermined transmission path 6.
  • the transmission data from the transmission line 6 is received by the reception processing circuit 8 via the input terminal 7 of the receiving device 20D.
  • reception processing circuit 8 necessary signal processing such as channel decoding, unpacketization, and error correction is performed on the transmission data, and the resulting encoded data is supplied to the decoder 9.
  • decoder 9 send The encoded data is decoded by the decoding process corresponding to the encoding process of the 1 OD encoder 3, thereby obtaining corrected thinned-out image data composed of bit corrected pixels (pixel data). Supplied to 2.
  • the blocking circuit 52 includes, for example, as shown in FIG.
  • Class taps and prediction taps are generated by dividing B, C, D, E, F, G, and H into one block, and the class taps are supplied to the clustering circuit 53 and the prediction taps are supplied to the pixel data generation circuit 55, respectively.
  • the blocking circuit 52 configures a block composed of bit correction pixels (pixel data) adjacent vertically, horizontally, and diagonally with respect to all the bit correction pixels, and the clustering circuit 53 as a class tap. Are supplied to the interpolation data creation circuit 55 as prediction taps.
  • the class tap and the prediction tap are the same.
  • the clustering circuit 53 clusters the blocks from the blocking circuit 52 into a predetermined class according to the properties of the bit-corrected pixels constituting the blocks.
  • the principle of clustering has been described with reference to FIGS. 10 and 11 when describing the first embodiment, and a description thereof will not be repeated.
  • the clustering circuit 53 performs an 1-bit ADRC process on the eight-bit corrected pixels (pixel data) constituting the block (class tap), and generates an 8-bit data representing the class for the target bit-corrected pixel X ′. Generate class code.
  • the class obtained by the above clustering is given to the memory 54 as an address.
  • the memory 54 stores, for each class, prediction data for predicting a 12-bit pixel from the bit correction pixel X corrected to 8 bits, and stores a class as an address from the clustering circuit 53. Is given, the prediction data corresponding to the class is read and supplied to the pixel data creation circuit 55.
  • the target bit correction pixel x ′ at a predetermined position is set as a bit correction pixel (pixel data) adjacent to the upper, lower, left, and right sides thereof.
  • w 7, w 8 are stored as prediction data. Accordingly, a set of coefficients w1 to w8 force prediction data corresponding to the class for the bit-corrected pixel of interest is supplied from the memory 55 to the pixel data generation circuit 55 as prediction data.
  • the pixel data creation circuit 55 When receiving the set of coefficients w 1 to w 8 as the prediction data, the pixel data creation circuit 55 receives the set of coefficients w 1 to w 8 as the prediction data and the block supplied from the blocking circuit 11. Using the pixel values A to H of the bit correction pixels (pixel data) constituting the (prediction tap), the following linear linear expression is calculated to obtain 1 bit for the 8-bit target bit correction pixel X. Generate (predict) 2-bit restored pixels (pixel data).
  • the pixel X ′ obtained by the pixel data creation circuit 55 is supplied to and stored in the image memory 56.
  • the above processing is performed, for example, in one frame, and the generated pixel data is stored in the image memory.
  • the image data composed of pixels stored in the image memory 56 is restored as thinned-out image data which is almost the same as the thinned-out image data output from the sub-sampling circuit 2 of the transmitting device 10D.
  • the thinned-out image data stored in the image memory 56 is the same as the thinned-out image data output from the decoder 9 of the receiving device 20D of the first embodiment shown in FIG. Also in the embodiment, in the thinned image data stored in the image memory 56, a thinned pixel is generated and the image data is restored similarly to the first embodiment shown in FIG. As a result, from the output terminal 15, data of a frame constituting the all-pixel moving image is output.
  • the configuration and operation of the blocking circuit 11, clustering circuit 12, memory 13, interpolation data generation circuit 14, and synthesis circuit of the receiving device 20 D of the third embodiment shown in FIG. 16 are shown. Is the same as that of the first embodiment shown in the figure, and the description thereof is omitted here.
  • the prediction data for constructing the linear linear equation of Equation (3) is used.
  • the set of coefficients w1, w2, w3, w4, w5, w6, w7, and w8 are determined by learning.
  • FIG. 18 shows coefficients used as prediction data for obtaining a 12-bit restored pixel (pixel data) X ′ from an 8-bit bit-corrected pixel (pixel data) in the third embodiment.
  • 1 shows a configuration example of a first embodiment of a learning device that performs learning for obtaining a set wl, w2, w3, w4, w5, w6, w7, and w8.
  • a learning all-pixel moving image in which each pixel is 12 bits is input, for example, in frame units.
  • all pixel moving images for learning are standard ones that take into account the creation of a set of prediction data coefficients wl, w2, w3, w4, w5, w6, w7, and w8. It is desirable that
  • the frame of the all-pixel moving image input to the input terminal 61 is supplied to the blocking / bit dropping circuit 62.
  • the blocking and bit dropping circuit 62 converts the 12-bit pixel corresponding to the predetermined target bit correction pixel X ′ shown in FIG. 17 from the pixel constituting the frame supplied thereto into the target pixel (pixel data ),
  • the pixel of interest is a 12-bit pixel that becomes bit-corrected pixels (pixel data) A through H
  • Blocks are formed by the generated eight bit-corrected pixels (pixel data) and supplied to the clustering circuit 64. Further, the block-forming and bit-dropping circuit 62 stores a total of 9 pixels (pixel data) obtained by adding the pixel of interest (pixel data) to the 8 bit-corrected pixels (pixel data) constituting the block, and Supplied to the input terminal IN of 23.
  • the clustering circuit 64 clusters the blocks (class taps) supplied thereto in the same manner as the clustering circuit 53 in FIG. 16 and obtains the result.
  • the class is supplied to terminal 65a of switch 65.
  • the switch 65 selects the terminal 65 a until the clustering for all blocks obtained from the learning all-pixel moving image is completed, and accordingly, each attention output from the clustering circuit 64 is selected.
  • the class for the bit correction pixel is supplied to the address terminal AD of the data memory 63 via the switch 65.
  • the data memory 63 stores the image data supplied to the input terminal IN in an address corresponding to the class supplied to the address terminal AD.
  • pixels of interest (pixel data) for those classified into a predetermined class Class are X′1, X ′. '2, ⁇ , X'n.
  • the bit correction pixels (pixel data) adjacent to the target pixel X1 in the vertical, horizontal, and right directions are Al, Bl, C1, Dl, ⁇ 1, Fl, Gl, HI, and the target pixel (pixel data).
  • the bit correction pixels (pixel data) adjacent to the top, bottom, left and right of X2 are A2, B2, C2, D2, ⁇ 2, F2, G2, ⁇ 2,.
  • the bit-corrected pixels (pixel data) adjacent to the upper, lower, left, and right sides of X ⁇ are An, Bn, Cn, Dn, En, Fn, Gn, and Hn, respectively.
  • the addresses corresponding to the class CI ass in the memory 23 include x'l, X'2, ⁇ , X'n, A1, A2, ⁇ , A n, ⁇ 1, ⁇ 2, ⁇ , ⁇ ⁇ , C 1, C 2, ⁇ ⁇ ⁇ , C ⁇ , D 1, D 2,-- ⁇ , Dn, El, E 2,-- ⁇ , , Fn, G1, G2,..., Gn, Hl, H2,..., Hn are stored as pixel data.
  • switch 65 selects terminal 65b.
  • the output of the counter 66 is supplied to the terminal 65b, and the counter 66 generates a sequentially changing address by counting a predetermined clock CK. Therefore, the address generated by the counter 66 is output via the switch 65.
  • the address output from the counter 66 via the switch 65 is supplied to the address terminal AD of the data memory 63 and the address terminal AD of the memory 68.
  • the data memory 63 according to the address from the counter 66, which is supplied to the address terminal AD, the stored contents (the pixel of interest (pixel data) and the bit correction pixel (pixel data) adjacent thereto) Is read out and supplied to the least squares operation circuit 67.
  • the least-squares method operation circuit 67 an equation is created based on the data supplied from the data memory 63, and this is solved by, for example, the least-squares method, thereby setting a coefficient as prediction data. w1 to w8 are required.
  • the least squares operation circuit 27 stores the data X ′ 1, X ′ 2,... Stored in the data memory 23 at the address corresponding to the class C 1 ass. ⁇ , X 'n, A 1, A 2, ⁇ , A n, B 1, B 2, ⁇ , B n, C 1, C 2, ⁇ , C n, D 1, D 2 , ⁇ , Dn, E1, E2, ⁇ , En, F1, F2, ⁇ , Fn, G1, G2, ⁇ , Gn, HI, H2 ⁇ Hn, the following simultaneous equations corresponding to Eq. (3) are established.
  • the least squares arithmetic circuit 67 calculates the simultaneous equations of the equation (4) by the least squares Therefore, by solving, a set of coefficients w1 to w8 as the prediction data for the class CI ass is obtained. Prediction data for other classes can be obtained in the same way.
  • the set of coefficients w 1 to w 8 as the prediction data obtained by the least squares operation circuit 67 is supplied to the memory 68. Therefore, the set of coefficients w 1 to w 8 as the prediction data for the class C 1 a s s
  • the prediction data stored in the memory 68 as described above is stored in the memory 54 of FIG.
  • a set of coefficients as prediction data generated by the learning device of FIG. 12 is stored in the memory 13 of FIG.
  • the pixel value itself is stored in the memory 54 of FIG. 16 as prediction data, instead of a set of coefficients for calculating the linear linear equation shown in Equation (3). be able to.
  • FIG. 19 shows a configuration example of the second embodiment of the learning device for obtaining the prediction data when the pixel value is stored in the memory 54 as the prediction data.
  • the frame of the all-pixel moving image input to the input terminal 61 is supplied to the blocking / bit dropping circuit 62.
  • the blocking / bit dropping circuit 62 forms a block (class tap) from the pixels constituting the frame supplied thereto in the same manner as in FIG. 18 and supplies the same to the clustering circuit 64.
  • Only the 12-bit target pixel (pixel data) corresponding to the predetermined target bit correction pixel x ′ is supplied to the arithmetic unit 74.
  • the clustering circuit 64 clusters the blocks (class taps) supplied thereto in the same manner as the clustering circuit 53 of FIG. 16 and classifies the resulting class with the address terminal AD of the data memory 70 and Supplied to address terminal AD of frequency memory 71.
  • the contents of the data memory 70 and the frequency memory 71 are cleared to 0 before learning is started.
  • the frequency memory 71 when the class as an address is supplied to the address terminal AD, the frequency as the storage content of the address is read out and output from the output terminal OUT.
  • the frequency output from the frequency memory 71 is supplied to the arithmetic unit 72 and is incremented by one.
  • the increment result is supplied to the input terminal IN of the frequency memory 71, and is stored in the address where the frequency before the increment was stored (overwritten).
  • the data memory 70 when a class as an address is supplied to the address terminal AD, the stored content of the address is read out and output from the output terminal OUT.
  • the output of the data memory 70 is supplied to the computing unit 73.
  • the frequency output from the frequency memory 71 is also supplied to the arithmetic unit 73, where the frequency is multiplied by the output of the data memory 70. The result of this multiplication is supplied to the arithmetic unit 74.
  • the multiplication result in the arithmetic unit 73 and the pixel value of the pixel of interest (pixel data) from the blocking / bit dropping circuit 62 are added, and the added value is calculated by the arithmetic unit 75 Supplied to The arithmetic unit 75 is also supplied with the increment result of the frequency by the arithmetic unit 72, where the addition result of the arithmetic unit 74 is used as a dividend and the increment result of the adder 72 is used as a divisor. As a result, division is performed. The result of the division is supplied to the input terminal IN of the data memory 70, and is stored (overwritten) in the address corresponding to the class output from the clustering circuit 74.
  • the key having a data memory 70 and a frequency memory 71 is provided.
  • the access to the address ad is performed first, the data X'1 supplied from the block 62 and the bit dropping circuit 62 to the arithmetic unit 74 is directly written to the address ad of the data memory 60. Also, 1 is written to the address ad of the frequency memory 7 1. Thereafter, the access to the address ad is performed again.
  • the data memory 70 stores the average value of the pixel value of the target pixel with respect to the target bit corrected pixel classified into each class.
  • the pixel value stored in the data memory 70 is stored in the memory 54 of FIG. 16 as prediction data
  • the pixel value as the prediction data must be read from the memory 54. Since the thinning pixels are predicted, it is not necessary to provide the pixel data creation circuit 55.
  • the memory 13 in FIG. 16 stores a set of coefficients as prediction data generated by the learning device in FIG.
  • One bit correction pixel (pixel data) A, B, C, D, E, F, G, H constitutes one block (class tap and prediction tap). It is possible to configure so as to include the thinned-out pixel adjacent to the pixel X ′ in the time direction.
  • the clustering and the calculation of equation (3) are performed in consideration of the bit correction pixel (pixel data) in the time direction. It is possible to restore the corrected pixel X ′ to a pixel closer to the original one. In this case, it is necessary to similarly configure the blocks at the time of learning.
  • the block (cluster tap prediction tap) can be composed of only the thinned-out pixels in the time direction of the target bit correction pixel X.
  • bit correction pixel used for clustering and the linear linear expression shown in equation (3) are used for calculation.
  • bit correction pixels are the same, these need not be the same. That is, separate sets of pixels after thinning can be used for the clustering and the operation of equation (3).
  • the method of extracting class taps and prediction taps may be changed adaptively according to (activity) or motion.
  • bit correction pixel used for clustering and the bit correction used for calculating the linear linear expression shown in Equation (3) are spatially or temporally adjacent to the target bit correction pixel. You don't have to. However, it is desirable to use a bit correction pixel around the target bit correction pixel.
  • the class is determined based on spatial activity using ADRC processing in the clustering circuit
  • the movement of the block may be detected and the movement may be used for the class, or based on a combination of ADRC processing and motion detection. You may decide which class you were in.
  • each pixel of each frame constituting a moving image is 12 bits, but the present invention is not limited to this, and the present invention is not limited to this. For example, 8 bits, 10 bits, 16 bits, etc. It could be another bit.
  • the class tap or the prediction tap does not include the target bit correction pixel (pixel data).
  • the class bit or the prediction tap includes the target bit correction pixel (pixel data). (Pixel data).
  • the class bit or the prediction tap includes the target bit correction pixel (pixel data). (Pixel data).
  • pixel data pixel data
  • Modifications to subsequent circuits for processing image data from the image memory 56 are described below. Since this is the same as in the first embodiment, the description here is omitted.
  • the transmission / reception system to which the present invention has been applied has been described above.
  • Such a transmission / reception system can be used not only for television broadcasting, but also for recording and reproducing images.
  • pixels of each frame constituting a moving image are thinned out in a quincunx grid in both the spatial direction and the temporal direction.
  • data obtained by thinning pixels of each frame constituting a moving image into a quincunx grid in both the spatial direction and the time direction is transmitted. Is done. Therefore, it is possible to reduce the information amount while maintaining the horizontal, vertical, and oblique resolutions of the moving image.
  • thinning obtained by thinning pixels of each frame constituting a moving image into a quincunx grid in both the spatial direction and the temporal direction An original image is generated from the subsequent pixels. Therefore, it is possible to obtain an image with little deterioration in image quality.
  • the pixels of each frame constituting the moving image are thinned out in a quincunx grid in both the spatial direction and the temporal direction, and The bits of each pixel are further thinned out.
  • the transmission medium and the transmission method of the present invention pixels of each frame constituting a moving image are thinned out in a quincunx lattice in both the spatial direction and the time direction, and each pixel of the pixel after the thinning is extracted.
  • the data obtained by further thinning out the bits is transmitted. Therefore, it is possible to reduce the amount of information while maintaining the horizontal, vertical, and oblique resolutions of the moving image.
  • pixels of each frame constituting a moving image are thinned out in a quincunx grid in both the spatial and temporal directions.
  • the original image is generated from the decimated pixels obtained by further decimating the bits of each pixel of the decimated pixels. Therefore, it is possible to obtain an image with little deterioration in image quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

明 細 書 画像処理装置および画像処理方法、 並びに伝送媒体、 伝送方法および画像フォー マッ ト 技術分野
本発明は、 画像処理装置および画像処理方法、 並びに伝送媒体、 伝送方法およ び画像フォーマッ トに関し、 特に、 動画像の画質等の劣化を低減することができ るようにする画像処理装置および画像処理方法、 並びに伝送媒体、 伝送方法およ び画像フォーマツ トに関する。 背景技術
従来より、 動画像を表示するときの走査方法の 1つとして、 インターレース走 査がある。
即ち、 例えば、 ビデオカメラなどで画像を撮影した場合に、 本来ならば、 図 1 に示すように、 その内蔵する C C D (C h a r g e C o u p l e d D e v i c e ) などの光電変換素子が有する画素と同一配置の画素 （同図において、 〇印で示す） で、 各フレームを構成し、 伝送や記録を行うのが、 画質や解像度な どの面からは理想的である。
しかしながら、 これでは、 伝送や記録等する情報量が多くなる。 そこで、 情報 量の低減のために、 図 2に示すように、 最初の画面 （インターレース走査では、 フィールド） は、 奇数ラインの画素 （同図においてき印で示す） を間引いて、 偶 数ラインの画素 （同図において〇印で示す） だけで構成され、 次の画面は、 偶数 ラインの画素 （同図において參印で示す） を間引いて、 奇数ラインの画素 （同図 において〇印で示す） だけで構成され、 さらに次の画面は、 最初の画面と同様に 構成され、 以下、 同様にして、 画面が構成される。 ― ここで、 インタ一レース走査は、 上述したことから、 情報量を低減するための 画素を間引く手法の 1つと考えることができるので、 このような間引きの手法を. 以下、 適宜、 インターレース間引きという。 ― ところで、 画像の垂直方向の解像度は、 そのライン数に依存する。 従って、 ィ ンターレース間引きを行うと、 その間引き後の画像の垂直方向の解像度は、 間引 き前の画像の垂直方向の解像度の 1 Z 2になる。 その結果、 垂直方向の速い変化 を表現するのが困難となり、 そのような動きがあると、 画質が劣化する課題があ つた。 発明の開示
本発明は、 このような状況に鑑みてなされたものであり、 間引きによる画質の 劣化を低減することができる画像処理装置および画像処理方法、 並びに伝送媒体、 記録媒体および画像フォーマットを提供することにある。
本発明における動画像を構成する画像デ一タを処理する画像処理装置および方 法は、 動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方 向に五の目格子状のフォーマツ トとなるように、 各フレーム毎に画素を間引くこ とにより間引き画像データを生成し、 間引き画像データを出力することを特徴と する。 さらに、 本発明における画像処理装置および方法は、 さらに、 間引き画像 データを構成する各画素に対して、 その画素のレベル方向のビッ ト間引きを施す ことにより修正間引き画像データを生成し、 その修正間引き画像データを出力す ることを特徴とする。
本発明における動画像を構成する画像データの画素を間引くことにより生成さ れたデータを伝送する伝送方法、 伝送媒体は、 動画像を構成する各フレームの画 素に対して空間方向及び時間方向の両方向に五の目格子状のフォーマツ トとなる ように、 各フレーム毎に画素を間引くことにより間引き画像データを生成し、 そ の間引き画像データを伝送することを特徴とする。 さらに、 本発明における伝送 方法、 伝送媒体は、 さらに、 間引き画像データを構成する各画素に対して、 画素のレベル方向のビッ ト間引きを施すことにより修正間引き画像データを生成 し、 その修正間引き画像データを伝送データとして伝送することを特徴とする。 本発明における動画像を構成する画像フォーマツ トは、 動画像を構成する各フ レームの画素に対して空間方向及び時間方向の両方向に五の目格子状のフォーマ ットとなるように、 各フレーム毎に画素の間引きが施されたことを特徴とする。 さらに、 本発明における画像フォーマッ トは、 各フレーム毎に間引きが施された データの各画素に対して、 その画素のレベル方向のビッ ト間引きが施されたこと を特徴とする。
本発明における動画像を構成する画像データの画素を間引くことによって生成 された間引きデータを処理する画像処理装置は、 動画像を構成する各フレームの 画素に対して空間方向及び時間方向の両方向に五の目格子状のフォーマツ トとな るように、 各フレーム毎に画素を間引くことにより生成された間引き画像データ を受信する受信手段と、 間引き画像データに対して間引かれた画素を生成し、 元 の画像データを復元する復元手段とを備えることを特徴とする。
さらに、 本発明における画像処理装置において、 復元手段は、 間引き画像デー タの注目間引き画素に対して、 その画素の性質を表す所定のクラスを決定する決 定手段と、 決定されたクラスに応じて元の画素を予測し、 元の画素データを発生 する発生手段とからなることを特徴とする。
さらに、 本発明における画像処理装置において、 発生手段は、 標準的に動画像 を構成する画像データを用いてクラス毎に予め学習によって生成された予測デー タをクラス毎に記憶するメモリを有し、 上記決定されたクラスに対応する予測デ ータを読み出し、 その読み出された予測データに基いて元の画素データを発生す ることを特徴とする。
本発明における動画像を構成する画像データの画素を間引くことによって生成 された間引きデ一タを処理する画像処理装置は、 動画像を構成する各フレームの 画素に対して空間方向及び時間方向の両方向に五の目格子状のフォーマツ トとな るように、 各フレーム毎に画素を間引くことにより生成された間引き画像データ の各画素を、 さらにその画素のレベル方向のビッ ト間引きをすることにより得ら れた修正間引き画像デ一タを受信する受信手段と、 修正間引き画像データの各ビ ット間引き画素に対して元の画素を生成することにより間引き画像データを生成 し、 間引き画像データの間引き画素から元の画像データを復元する復元手段とを 備えることを特徴とする。
さらに、 本発明における画像処理装置において、 復元手段は、 ビッ ト間引き画 像データの注目ビッ ト間引き画素に対して、 その画素の性質を表す所定のクラス を決定する第 1の決定手段と、 決定されたクラスに応じて元の画素を予測するこ とにより元の画素データを発生する第 1の発生手段と第 1の発生手段によって発 生された上記画素データからなる間引き画像デ一タの注目間引き画素に対して、 その画素の性質を表す所定のクラスを決定する第 2の決定手段と、 決定されたク ラスに応じて元の画素を予測し、 元の画素データを発生する第 2の発生手段とか らなることを特徴とする。
さらに、 本発明における画像処理装置において、 第 1の発生手段は、 標準的に 動画像を構成する画像データを用いてクラス毎に予め学習によって生成された予 測データをクラス毎に記憶するメモリを有し、 上記第 1の決定手段によって決定 されたクラスに対応する予測データを読み出し、 その読み出された予測データに 基いて元の画素データを発生し、 第 2の発生手段の各々は、 標準的に動画像を構 成する画像データを用いてクラス毎に予め学習によって生成された予測データを クラス毎に記憶するメモリを有し、 上記第 2の決定手段によって決定されたクラ スに対応する予測データを読み出し、 その読み出された予測データに基いて元の 画素データを発生することを特徴とする。 図面の簡単な説明
図 1は、 ィンターレース間引きがされる前の画像を示す図である。
図 2は、 インターレース間引きがされた後の画像を示す図である。
図 3は、 本発明を適用した送受信システムの第 1実施の形態の構成例を示すプロ ック図である。 図 4は、 図 3のサブサンプリング回路 2の処理を説明するための図である。 図 5は、 図 3のサブサンプリング回路 2の処理を説明するための図である。 図 6は、 図 3のサブサンプリング回路 2の処理を説明するための図である。 図 7は、 図 3のサブサンプリング回路 2が出力する画像の空間周波数帯域を示す 図である。
図 8は、 単純な五の目間引きを行って得られる画像の空間周波数帯域を示す図で ある。
図 9は、 図 3のブロック化回路 1 1の処理を説明するための図である。
図 1 0は、 図 3のクラスタリング回路 1 2の処理を説明するための図である。 図 1 1は、 クラスタリングに利用する A D R Cを説明するための図である。 図 1 2は、 本発明を適用した送受信システムの第 1の実施の形態における予測デ ータを求める学習装置の第 1実施の形態の構成例を示すブロック図である。 図 1 3は、 本発明を適用した送受信システムの第 1の実施の形態における予測デ ータを求める学習装置の第 2実施の形態の構成例を示すプロック図である。 図 1 4は、 図 3のブロック化回路 1 1の処理を説明するための図である。
図 1 5は、 本発明を適用した送受信システムの第 2実施の形態の構成例を示すブ 口ック図である。
図 1 6は、 本発明を適用した送受信システムの第 3実施の形態の構成例を示すブ 口ック図である。
図 1 7は、 図 1 6のクラスタリング回路 5 3の処理を説明するための図である。 図 1 8は、 本発明を適用した送受信システムの第 2の実施の形態における予測デ ータを求める学習装置の第 1実施の形態の構成例を示すプロック図である。 図 1 9は、 本発明を適用した送受信システムの第 2の実施の形態における予測デ ータを求める学習装置の第 2実施の形態の構成例を示すブロック図である。 発明を実施するための最良の形態
以下図面について本発明の実施例を詳述する。 図 3は、 本発明を適用した送受信システム （システムとは、 複数の装置が論理 的に集合したものをいい、 各構成の装置が同一筐体中にあるか否かは問わない） の第 1の実施の形態の構成例を示している。
この送受信システムは、 送信装置 1 0 D と受信装置 2 0 D とで構成されてい る。 そして、 送信装置 1 0 D は、 入力端子 1、 サブサンプリング回路 2、 ェン コーダ 3、 送信処理回路 4、 および出力端子 5で構成され、 画像データの画素を 間引くことにより圧縮して送信するようになされている。 また、 受信装置 2 0 D は、 入力端子 7、 受信処理回路 8、 デコーダ 9、 合成回路 1 0、 ブロック化回路 1 1、 クラスタリング回路 1 2、 メモリ 1 3、 補間データ作成回路 1 4、 および 出力端子 1 5で構成され、 送信装置 1 0 D からの圧縮された画像データを伸張 するようになされている。
即ち、 送信装置 1 0 Dには、 例えば、 図示せぬビデオカメラなどで撮影され、 その内蔵する C C Dなどの光電変換素子が有する画素と同一配置の画素で、 各フ レームが構成される動画像 （以下、 適宜、 全画素動画像という） のディジタル画 像データが供給される。 ここで、 このような全画素動画像は、 いわゆるプログレ ッシブカメラ （光電変換素子上の画素すベてを、 いわゆるラスタスキャン順に走 査して、 1 フレームの画像信号として出力するビデオカメラ） や、 全画素カメラ (光電変換素子上の画素すべてにおける信号を、 一度に、 1 フレームの画像信号 として出力するビデオカメラ） などによって得ることができる。
このディジタル画像データは、 入力端子 1を介して、 サブサンプリング回路 2 に供給される。 サブサンプリング回路 2では、 そのディジタル画像データとして の動画像を構成する各フレームの画素が、 例えば、 図 4に示すように、 空間方向 および時間方向の両方向に、 五の目格子状に間引かれることにより圧縮される。 ここで、 図 4において （後述する図 5、 図 6、 図 9、 および図 1 4においても 同様） 、 參印および〇印の両方が、 全画素動画像を構成するフレームの画素を示 している。 そして、 そのうちの参印が、 サブサンプリング回路 2において間引か れた画素 （以下、 適宜、 間引き画素 （画素データ） という） を示しており、 0¾ 力 サブサンプリング回路 2において間引きが行われることにより残った画素 (以下、 適宜、 間引き後画素 （画素データ） という） を示している。
即ち、 サブサンプリング回路 2では、 全画素動画像の第 1 フレームについては、 例えば、 図 5 ( A) に示すように、 その 1ライン目の 2列目、 4歹 IJ目、 6歹 U目、 8列目、 · · ·、 2ライン目の 1列目、 3列目、 5列目、 7列目、 · · 'の画素 (同図 （A ) に參印で示す） が間引かれ、 以下、 同様にして、 奇数フレームにつ いては、 空間方向に、 五の目格子状に間引きが行われる。 また、 第 2フレームに ついては、 例えば、 図 5 ( B ) に示すように、 その 1ライン目の 1列目、 3歹 IJ目、 5列目、 7列目、 · · · 、 2ライン目の 2列目、 4列目、 6列目、 8列 目、 . . ·の画素 （同図 （B ) に ·印で示す） が間引かれ、 以下、 同様にして、 偶数フレームについても、 空間方向に、 五の目格子状に間引きが行われる。
さらに、 この場合、 ある 1ラインまたは 1列に注目すれば、 例えば、 図 6に示 すように、 第 1 フレームでは、 その注目ラインまたは注目列を構成する 2番目、 4番目、 6番目、' 8番目、 · · ' の画素 （同図において翁印で示す） が間引かれ、 第 2フレームでは、 注目ラインまたは注目列を構成する 1番目、 3番目、 5番目、 7番目、 · · · の画素 （同図においてき印で示す） が間引かれる。 そして、 第 3 フレームでは、 再び、 注目ラインまたは注目列を構成する 2番目、 4番目、 6番 目、 8番目、 · · · の画素 （同図において ·印で示す） が間引かれ、 以下、 同様 にして、 間引きが行われることにより、 サブサンプリング回路 2では、 時間方向 にも、 五の目格子状に間引きが行われる。
全画素動画像の各フレームについて、 以上のように、 空間方向および時間方向 の両方向に、 五の目格子状に間引き （以下、 適宜、 空間ノ時間五の目間引きとい う） が行われることにより、 空間方向および時間方向のいずれの方向にも、 画素 が 1つおきに存在するようになる。 従って、 空間/時間五の目間引き後の情報量 は、 単純には、 前述のインターレース間引きを行った場合と同様に、 元の情報量 の 1 / 2になる。
ここで、 図 7は、 空間/時間五の目間引き後の画像の空間周波数帯域 （同図に おいて斜線を付してある部分） を示している。 空間 時間五の目間引き後の画像 の空間周波数帯域は、 同図に示すように長方形状になり、 その結果、 水平方向お よび垂直方向の解像度は勿論、 斜め方向の解像度も、 ある程度保たれる。
なお、 これに対して、 図 8は、 空間方向にのみ五の目格子状に間引き （隣接す るフレームにおいて、 間引かれる画素の変わらない五の目間引き） を行った場合 の、 その間引き後の画像の空間周波数帯域 （同図において斜線を付してある部 分） を示している。 この場合、 その空間周波数帯域は、 ひし形状になり、 その結 果、 水平方向および垂直方向の解像度は、 元の解像度に維持されるが、 斜め方向 の解像度は、 元の 1Z2に低下する。
従って、 空間 Z時間五の目間引きを行うことにより、 情報量を低減することが できる他、 水平方向、 垂直方向、 および斜め方向のいずれの解像度も維持するこ とができる。 その結果、 これらのいずれの方向の速い変化をも表現することが可 能となり、 そのような動きがある場合の画質の劣化を低減 （防止） することが可 能となる。 但し、 ある 1フレームだけに注目すれば、 空間 Z時間五の目間引きで あっても、 斜め方向の解像度は低下する。
図 3に戻り、 サブサンプリング回路 2において空間/時間五の目間引きの施さ れた間引き後画素 （画素データ） からなる間引き画像データが、 エンコーダ 3に 供給される。 エンコーダ 3では、 サブサンプリング回路 2からのデータ （間引き 後画素 （画素データ） で構成される画像データ） が高能率符号化される。 ここで、 高能率符号化方式としては、 例えば、 DCT (D i s c r e t e C o s i n e T r a n s f o r m) などの直交変換と動き補償を用いたハイプリッド方式や、 D C Tと量子化を用いたハイブリ ッ ド方式や AD R C (A d a p t i v e Dy n a m i c R a n g e C o d i n g) を用いるものなどがある。 なお、 ADRCについては、 例えば Un i t e d S t a t e P a t e n t N o . 4， 7 0 3， 3 5 2 ( I s s u e d D a t e : O c t o b e r 2 7， 1 9 8 7) にて提案されている。
エンコーダ 3において、 間引き画像データが高能率符号化されることにより得 られる符号化データは、 送信処理回路 4に供給される。 送信処理回路 4では、 ェ ンコーダ 3からの符号化データに対して、 例えば、 エラー訂正、 パケッ ト化、 チ ャネル符号化などの必要な信号処理が施され、 その結果得られる伝送データが、 出力端子 5を介して出力される。 この伝送データは、 所定の伝送路 6を介して送 信される。 なお、 伝送路 6には、 例えば、 衛星回線や、 地上波、 C A T V網、 公 衆網、 インタ一ネッ トなどの通信回線の他、 例えば、 磁気記録 再生のプロセス、 さらには、 磁気ディスク、 光ディスク、 磁気テープ、 光磁気ディスクその他の記 録媒体も含まれる。
伝送路 6からの伝送データは、 受信装置 2 0 D の入力端子 7を介して、 受信 処理回路 8で受信される。 受信処理回路 8では、 伝送データに対して、 チャネル 複号化、 アンバケツ ト化、 エラー訂正などの必要な信号処理が施され、 その結果 得られる符号化データが、 デコーダ 9に供給される。 デコーダ 9では、 送信装置 1 0 D のエンコーダ 3の符号化処理と対応する復号処理でその符号化データが デコードされることにより、 間引き後画素 （画素データ） で構成される間引き画 像データとされ、 合成回路 1 0およびブロック化回路 1 1に供給される。
プロック化回路 1 1は、 例えば、 図 1 1に示すように、 所定の位置 （補間すベ き位置） に対する注目間引き画素 Xの空間方向の上下左右に隣接する 4つの間引 き後画素 （画素データ） a、 b、 c、 dを 1つのブロックにしてクラスタップ及 び予タップを生成し、 クラスタップをクラスタリング回路 1 2に、 予測タップを 補間データ作成回路 1 4にそれぞれ供給する。 なお、 ブロック化回路 1 1は、 す ベての間引き画素について、 その上下左右に隣接する間引き後画素 （画素デー タ） でなるブロックを構成して、 クラスタップとしてクラスタリング回路 1 2に、 予測タップとして補間データ作成回路 1 4にそれぞれ供給する。 なお、 ここでは、 クラスタップ及び予測タップとは同一のものとしている。
クラスタリング回路 1 2は、 ブロック化回路 1 1からのブロックを、 それを構 成する間引き後画素の性質に応じて所定のクラスにクラスタリングする。 一 ここで、 クラスタリングについて簡単に説明する。 いま、 例えば、 図 1 0 (A) に示すように、 2 X 2画素でなるブロック （クラ スタップ） を考え、 各画素が、 1ビットで表現される （0または 1のうちのいず れかのレベルをとる） ものとすると、 この 2 X 2の 4画素のブロック （クラスタ ップ） は、 各画素のレベル分布により、 図 1 0 (B) に示すように、 1 6 (二 (21) ) パターンにクラス分けすることができる。 このようなクラス分けが、 クラスタリングであり、 クラスタリング回路 1 2において行われる。
ここで、 通常、 各画素には、 例えば 8ビッ ト程度が （その画素値を表現するた めに） 割り当てられる。 また、 本実施の形態においては、 上述したように、 プロ ック （クラスタップ） は 4画素で構成される。 従って、 このようなブロック （ク ラスタップ） を対象にクラスタリングを行ったのでは、 （28) 4 という膨大な数 のクラスが生じることになる。
そこで、 クラスタリング回路 1 2では、 ブロック （クラスタップ） に対して、 例えば、 ADRC処理を施し、 これにより、 ブロックを構成する画素のビッ ト数 を少なく し、 クラス数を削減することができる。 なお、 本実施の形態のクラスタ リング回路 1 2では、 実際、 1 ビット ADRC処理が行われているが、 ADRC 処理を説明するために、 以下では、 2ビッ ト AD RC処理について説明する。 即ち、 例えば、 いま、 説明を簡単にするため、 図 1 1 (A) に示すように、 直 線上に並んだ 4画素で構成されるプロックを考えると、 ADRC処理においては、 その画素値の最大値 MAXと最小値 M I Nが検出される。 そして、 DR=MAX 一 M I Nを、 ブロックの局所的なダイナミックレンジとし、 このダイナミックレ ンジ DRに基づいて、 ブロックを構成する画素の画素値が Kビッ トに再量子化さ れる。
即ち、 ブロック内の各画素値から、 最小値 M I Nを減算し、 その減算値を DR 2Kで除算する。 そして、 その結果得られる除算値に対応するコード （ADR Cコード） に変換される。 具体的には、 例えば、 Κ= 2とした場合、 図 1 1 (Β) に示すように、 除算値が、 ダイナミックレンジ DRを 4 ( = 22) 等分し て得られるいずれの範囲に属するかが判定され、 除算値が、 例えば、 最も下のレ ベルの範囲、 下から 2番目のレベルの範囲、 下から 3番目のレベルの範囲、 また は最も上のレベルの範囲に属する場合には、 それぞれ、 例えば、 0 0 B、 0 1 B、 1 0 B、 または 1 1 Bなどの 2ビッ トにコード化される （ Bは 2進数であること を表す） 。
なお、 その複号化は、 A D R Cコード 0 0 B、 0 1 B、 1 0 B、 または 1 1 B を、 例えば、 ダイナミックレンジ D Rを 4等分して得られる最も下のレベルの範 囲の中心値 L 0 0、 下から 2番目のレベルの範囲の中心値 L 0 1、 下から 3番目 のレベルの範囲の中心値 L 1 0、 または最も上のレベルの範囲の中心値 L 1 1に 変換し、 その値に、 最小値 M I Nを加算することで行うことができる。
また、 クラスタリングは、 上述したように、 ブロック （クラスタップ） を構成 する各画素のレベルそのものに基づいて行う他、 例えば、 ブロック （クラスタツ プ） を構成する画素のレベルの傾向 （例えば、 すべての画素のレベルがほぼ揃つ ていると力、 右にある画素のレベルが他の画素のレベルよりも高いまたは低いと かなど） など基づいて行うことも可能である。
再び、 図 3に戻り、 以上のようなクラスタリングにより得られたクラスは、 メ モリ 1 3に対して、 ァドレスとして与えられる。 メモリ 1 3は、 全画素動画像を 構成する画素から間引かれた間引き画素 Xを予測するための予測データを、 クラ スごとに記憶しており、 クラスタリング回路 1 2からアドレスとしてのクラスが 与えられると、 そのクラスに対応する予測データを読み出し、 補間データ作成回 路 1 4に供給する。
ここで、 いまの場合、 メモリ 1 3においては、 例えば、 所定の位置 （補間すベ く位置） に対する注目間引き画素 Xを、 その上下左右に隣接する間引き後画素 (画素データ） a乃至 d (図 9 ) (予測タップ） を用いた線形一次式により予測 するための、 その線形一次式の係数のセッ ト w 1， w 2 , w 3 , w 4カ^ 予測デ ータとして記憶されている。 従って、 メモリ 1 3から補間データ作成回路 1 4に は、 注目間引き画素に対するクラスに対応する係数のセット w l乃至 w 4力 予 測データとして供給される。 補間データ作成回路 1 4は、 予測データとしての係数のセッ ト w 1乃至 w 4を 受信すると、 その予測データとしての係数のセッ ト w 1乃至 w 4と、 ブロック化 回路 1 1から供給されたブロック （予測タップ） を構成する間引き後画素 （画素 データ） の画素値 a乃至 dとを用いて、 次の線形一次式を演算することにより、 注目間引き画素 （画素データ） Xを生成 （予測） する。
X = w 1 a + w 2 b + w 3 c + w 4 d
- - - ( 1 ) 補間データ作成回路 1 4で求められた注目間引き画素 （画素データ） Xは、 合 成回路 1 0に出力される。 合成回路 1 0は、 間引き後画素を出力するタイミング では、 デコーダ 9から供給される間引き後画素 （画素データ） を選択し、 また、 間引き画素を出力するタイミングでは、 補間データ作成回路 1 4から供給される 間引き画素 （画素データ） を選択して、 出力端子 1 5から出力する。 この結果、 出力端子 1 5からは、 全画素動画像を構成するフレームのデータが出力される。 次に、 間引き画素 （画素データ） Xを求めるのに、 式 （1 ) の線形一次式を構 成するための予測データとしての係数のセッ ト w 1， w 2 , w 3 , w 4は、 学習 により求められるようになされている。
図 1 2は、 予測デ一タとしての係数のセッ ト w 1， w 2 , w 3 , w 4を求める ための学習を行う学習装置の一実施の形態の構成例を示している。
入力端子 2 1には、 学習用の全画素動画像が、 例えば、 フレーム単位で入力さ れる。 ここで、 学習用の全画素動画像は、 予測データの係数のセッ ト w 1， w 2 , w 3， w 4の作成を考慮した標準的なものであるのが望ましい。
入力端子 2 1に入力された全画素動画像のフレームは、 プロック化回路 2 2に 供給される。 ブロック化回路 2 2は、 そこに供給されたフレームを構成する画素
(画素データ） から、 図 9に示した注目間引き画素 Xとなる画素 （画素データ） を注目画素 （画素データ） として、 その注目画素 （画素データ） に対して間引き 後画素 a乃至 dとなる画素 （画素データ） を選択し、 その 4つの画素 （画素デー タ） でブロック （クラスタップ及び予測タップ） を構成して、 クラスタリング回 路 24に供給する。 さらに、 ブロック化回路 2 2は、 そのブロックを構成する 4 つの画素 （画素データ） に、 注目画素 （画素データ） を加えた合計 5画素 （画素 データ） を、 データメモリ 2 3の入力端子 I Nに供給する。
クラスタリング回路 24は、 図 3のクラスタリング回路 1 2と同様に、 そこに 供給されるブロック （クラスタップ） をクラスタリングし、 その結果得られるク ラスを、 スィッチ 2 5の端子 2 5 aに供給する。 ここで、 スィッチ 2 5は、 学習 用の全画素動画像から得られるすべてのプロックについてのクラスタリングが終 了するまでは、 端子 2 5 aを選択しており、 従って、 クラスタリング回路 24が 出力する各注目間引き画素に対するクラスは、 スィッチ 2 5を介して、 データメ モリ 2 3のァ ドレス端子 ADに供給される。
デ一タメモリ 2 3は、 そのァドレス端子 ADに供給されるクラスに対応するァ ドレスに、 その入力端子 I Nに供給される画像データを記憶する。
ここで、 例えば、 学習用の全画素動画像から得られるすべてのブロック （クラ スタップ） のうち、 所定のクラス C 1 a s sに分類されるものについての注目画 素 （画素データ） を χ ΐ , X 2, · · ·， x nとする。 また、 注目画素 （画素デ ータ） X 1の上下左右に隣接する画素 （画素データ） を a 1， b 1 , c 1 , d 1 と、 注目画素 （画素データ） X 2の上下左右に隣接する画素 （画素データ） を a 2, b 2, c 2, d 2と、 . · ·、 注目画素 （画素データ） X nの上下左右に隣 接する画素 （画素データ） を a n， b n, c n, d nと、 それぞれする。 この場 合、 上述の処理により、 メモリ 2 3の、 クラス C l a s sに対応するァドレスに は、 X 1 , 2 , · . ·， X n , a 1 , a 2 , . · .， a n , b 1 , b 2 , · · ·， b n， c 1 , c 2, · · ·， c n， d 1 , d 2 , · · ·， d nが各 画素データとして記憶される。
学習用の全画素動画像から得られるすべてのブロック （クラスタップ） につい てのクラスタリングが終了すると、 スィッチ 2 5は端子 2 5 bを選択する。 端子 2 5 bには、 カウンタ 2 6の出力が供給されるようになされており、 カウンタ 2 6は、 所定のクロック CKをカウントすることにより、 順次変化するア ドレスを 発生するようになされている。 従って、 カウンタ 2 6が発生するア ドレスは、 ス イッチ 2 5を介して出力される。
カウンタ 2 6からスィッチ 2 5を介して出力されるアドレスは、 データメモリ
2 3のァ ドレス端子 ADと、 メモリ 2 8のァ ドレス端子 ADとに供給される。 デ一タメモリ 2 3においては、 そのアドレス端子 ADに供給される、 カウンタ
2 6からのア ドレスにしたがって、 その記憶内容 （注目画素 （画素データ） とそ れに隣接する 4つの画素 （画素データ） ） が読み出され、 最小自乗法演算回路 2
7に供給される。 最小自乗法演算回路 2 7では、 データメモリ 2 3から供給され るデータに基づいて、 方程式がたてられ、 これが、 例えば、 最小自乗法によって 解かれることにより、 予測データとしての係数のセッ ト w 1乃至 w 4が求められ る。
即ち、 上述のクラス C I a s sに注目した場合、 最小自乗法演算回路 2 7では、 データメモリ 2 3の、 クラス C l a s sに対応するァドレスに記憶されたデータ X 1 , X 2 , · · ·， X n , a 1 , a 2 , . · ·， a n, D 1 , b 2 , · . ·， b n， c l， c 2， · · ·， c n， d l， d 2 , · · ·， d nを用いて、 式 ( 1 ) に対応する、 以下のような連立方程式がたてられる。
X 1 = w 1 a 1 + w 2 b 1 + w 3 c 1 + w 4 d 1
x 2 = w 1 a 2 +w2 b 2 +w3 c 2 +w4 d 2
x n = w 1 a n+w 2 b n +w 3 c n +w4 d n
• · · (2) そして、 最小自乗法演算回路 2 7は、 式 （2) の連立方程式を、 最小自乗法に よって解くことにより、 クラス C l a s sについての予測データとしての係数の セッ ト w 1乃至 w4を求める。 他のクラスについての予測データも同様にして求 められる。 最小自乗法演算回路 2 7で求められた予測デ一タとしての係数のセッ ト w 1乃 至 w4は、 メモリ 2 8に供給される。 従って、 クラス C 1 a s sについての予測 データとしての係数のセッ ト w 1乃至 w4は、 メモリ 2 3において、 データ X 1， X 2 , · · .， X n , a 1 , a 2 , · · ·， a n , b 1 , b 2 , · · .， b n , c l , c 2， · · ·， c n， d 1 , d 2, · · ·， d nが記憶されていたァ ドレ スと同一のメモリ 2 8のァ ドレスに記憶される。 他のクラスについての予測デー タとしての係数のセッ トも、 同様にして、 メモリ 2 8に記憶される。
図 3のメモリ 1 3には、 以上のようにしてメモリ 2 8に記憶された予測データ が記憶されている。
次に、 図 3のメモリ 1 3には、 予測データとして、 式 （1 ) に示した線形一次 式を計算するための係数のセッ トではなく、 画素値そのものを記憶させておくよ うにすることができる。
図 1 3は、 画素値を予測データとしてメモリ 1 3に記憶させる場合の、 その予 測データを求める学習装置の第 2の実施の形態の構成例を示している。 なお、 図 中、 図 1 2における場合と対応する部分については、 同一の符号を付してある。 入力端子 2 1には、 学習用の全画素動画像が入力され、 その全画素動画像のフ レームは、 ブロック化回路 2 2に供給される。 ブロック化回路 2 2は、 そこに供 給されたフレームを構成する画素から、 図 1 2における場合と同様にブロック (クラスタップ） を構成し、 クラスタリング回路 24に供給する。 さらに、 プロ ック化回路 2 2は、 注目間引き画素 Xとなる注目画素 （画素データ） だけを演算 器 3 4に供給する。
クラスタリング回路 24は、 図 3のクラスタリング回路 1 2と同様に、 そこに 供給されるブロック （クラスタップ） をクラスタリングし、 その結果得られるク ラスを、 データメモリ 3 0のァ ドレス端子 ADと、 度数メモリ 3 1のァ ドレス端 子 ADとに供給する。
ここで、 データメモリ 3 0および度数メモリ 3 1は、 学習を開始する前に、 そ の記憶内容が 0にクリアされるようになされている。 度数メモリ 3 1では、 そのァ ドレス端子 A Dに、 ァドレスと してのクラスが供 給されると、 そのア ドレスの記憶内容としての度数が読み出され、 その出力端子 O U Tから出力される。 度数メモリ 3 1から出力された度数は、 演算器 3 2に供 給され、 1だけインクリメントされる。 このインク リメント結果は、 度数メモリ 3 1の入力端子 I Nに供給され、 インクリメント前の度数が記憶されていたァド レスに記憶される （上書きされる） 。
一方、 デ一タメモリ 3 0では、 そのア ドレス端子 A Dに、 ア ドレスとしてのク ラスが供給されると、 やはり、 そのアドレスの記憶内容が読み出され、 その出力 端子 O U Tから出力される。 データメモリ 3 0の出力は、 演算器 3 3に供給され る。 演算器 3 3には、 さらに、 度数メモリ 3 1が出力する度数も供給されており、 そこでは、 この度数と、 データメモリ 3 0の出力とが乗算される。 この乗算結果 は、 演算器 3 4に供給される。
演算器 3 4では、 演算器 3 3における乗算結果と、 ブロック化回路 2 2からの 注目画素 （画素データ） の画素値とが加算され、 その加算値は、 演算器 3 5に供 給される。 演算器 3 5には、 さらに、 演算器 3 2による度数のィンクリメント結 果も供給されており、 そこでは、 演算器 3 4の加算結果を被除数とするとともに、 加算器 3 2のインク リメント結果を除数として、 除算が行われる。 この除算結果 は、 データメモリ 3 0の入力端子 I Nに供給され、 クラスタリング回路 2 4が出 力するクラスに対応するア ドレスに記憶される （上書きされる） 。
図 1 3の学習装置において、 データメモリ 3 0および度数メモリ 3 1のあるァ ドレス a dへのアクセスが最初に行われる場合には、 ブロック化回路 2 2から演 算器 3 4に供給されるデ一タ X 1がそのまま、 デ一タメモリ 3 0のァドレス a d に書き込まれ、 また、 度数メモリ 3 1のアドレス a dには、 1が書き込まれる。 その後、 再度、 ア ドレス a dへのアクセスが行われ、 このときにブロック化回路 2 2から演算器 3 4に供給されるデータが X 2であったとすると、 演算器 3 2の 出力は 2となり、 また、 演算器 3 4の出力は X 1 + X 2となるから、 演算器3 5 の出力は （x l + x 2 ) / 2となり、 これが、 デ一タメモリ 3 0のァドレス a d に書き込まれる。 そして、 度数メモリ 3 1のァドレス a dには、 演算器 3 2の出 力である 2が書き込まれる。 さらに、 再び、 ア ドレス a dへのアクセスが行われ、 このときにプロック化回路 2 2から演算器 3 4に供給されるデータが X 3であつ たとすると、 同様の処理により、 データメモリ 3 0のァドレス a dには、 （X 1 + X 2 + X 3 ) Z 3が書き込まれ、 度数メモリ 3 1のア ドレス a dには、 3が書 き込まれる。
以上のようにして、 データメモリ 3 0には、 各クラスに分類される注目画素 (画素データ） の画素値の平均値が記憶される。
なお、 図 3のメモリ 1 3に、 デ一タメモリ 3 0に記憶された画素値を、 予測用 データとして記憶させる場合には、 その予測用データとしての画素値を、 メモリ 1 3から読み出すこと力 間引き画素を予測することになるから、 補間データ作 成回路 1 4は設ける必要がなくなる。
ところで、 上述の場合には、 図 3のブロック化回路 1 1において、 図 9に示し たように、 注目間引き画素 Xの空間方向の上下左右に隣接する 4つの間引き後画 素 （画素データ） a、 b、 c、 dで 1つのブロック （クラスタップ及び予測タツ プ） を構成するようにしたが、 ブロックは、 注目間引き画素 Xの時間方向に隣接 する間引き後画素も含めて構成することが可能である。
即ち、 例えば、 図 1 4に示すように、 第 nフレームのある注目間引き画素 Xに ついてブロックを構成する場合においては、 同一フレーム内の上下左右に隣接す る 4つの間引き後画素 （画素データ） a、 b、 c、 d、 並びに第 n— 1 フレーム の、 注目間引き画素 Xと同一位置にある間引き後画素 （画素データ） e、 および 第 n + 1フレームの、 注目間引き画素 Xと同一位置にある間引き後画素 （画素デ ータ） f の合計 6画素 （画素データ） でブロック （クラスタップ及び予測タツ プ） を構成することが可能である。
この場合、 時間方向の間引き後画素 （画素データ） e、 f をも考慮してクラス タリングや、 式 （1 ) の演算が行われるので、 間引き画素 Xを、 より元のものに 近いものに復元することが可能となる。 なお、 この場合、 学習時においても、 同 様にブロックを構成する必要がある。 また、 ブロック （クラスタップや予測タツ プ） は、 注目間引き画素 Xの時間方向にある間引き後画素だけで構成することも 可能である。
また、 本実施の形態では、 ある間引き画素に注目した場合において、 クラスタ リングに用いる間引き後画素と、 式 （1 ) に示した線形一次式を計算するのに用 いる間引き後画素とを同一のものとしたが、 これらは、 同一である必要はない。 即ち、 クラスタリングと式 （1 ) の演算とには、 それぞれ別々の間引き後画素の 集合を用いることができる。 なお、 画像の空間的な特徴 （アクティビティ） や動 き等に応じてクラスタップや予測タップの切り出し方を適応的に変えてもよい。 また、 クラスタリングに用いる間引き後画素や、 式 （1 ) に示した線形一次式 を計算するのに用いる間引き後画素は、 間引き画素に対して、 空間的または時間 的に隣接している必要はない。 但し、 間引き画素の周辺にある間引き後画素を用 いるのが望ましい。
また、 クラスタリング回路に A D R C処理を用いて空間的なァクティビティに 基いてクラスを決定したが、 ブロックの動きを検出してその動きをクラスに用い てもよいし、 A D R C処理と動き検出の組み合せに基いたクラスを決定するよう にしてもよレ、。
さらに、 本実施の形態では、 間引き画素のみを生成しているが、 同様に間引き 後画素を新たに作成してもよい。 この場合、 合成回路 1 0は必要なくなる。
また、 本実施の形態において、 動画像を構成する各フレームの各画素は 8ビッ トであるが、 本発明はこれに限らず、 1 0ビッ ト、 1 2ビッ トなどの 8ビットよ り多いビットでもよいし、 もちろん、 8ビッ トより少ないビッ トでもよい。
次に、 以上では、 受信装置 2 0 D において、 学習を行うことにより得られた 予測用データを用いて、 間引き画素を予測するようにしたので、 間引き後画素で 構成される画像に含まれていない高周波成分も復元することができるが、 間引き 画素の復元は、 単純な補間によって行うことも可能である。
図 1 5は、 そのような送受信システムの第 2の実施の形態の構成例を示してい る。 なお、 図中、 図 1における場合と対応する部分については、 同一の符号を付 してある。 即ち、 この送受信システムは、 ブロック化回路 1 1、 クラスタリング 回路 1 2、 メモリ 1 3、 および補間データ作成回路 1 4に代えて、 補間フィルタ 4 0が設けられている他は、 図 3の送受信システムと同様に構成されている。 補間フィルタ 4 0では、 デコーダ 9からの間引き後画素 （画素データ） のうち、 間引き画素の周辺にある間引き後画素 （画素データ） の平均値などが求められ、 これが、 その間引き画素 （画素データ） の補間値として、 合成回路 1 0に出力さ れる。
この場合、 図 3における場合のように、 間引き後画素 （画素データ） で構成さ れる画像デ一タに含まれていなレ、高周波成分を復元することはできないが、 受信 装置 2 0 Dの構成を簡単化することができる。
次に、 本発明を適用した送受信システムの第 3の実施の形態について説明する。 図 1 6は、 第 3の実施の形態における送受信システムの構成例を示している。 な お、 図中、 図 3における場合と対応する部分については、 同一の符号を付してあ る。
この第 3の実施の形態の送受信システムは、 送信装置 1 0 D と受信装置 2 0 D とで構成されている。 そして、 送信装置 1 0 D は、 入力端子 1、 サブサンプリ ング回路 2、 ビッ ト落とし回路 5 1、 エンコーダ 3、 送信処理回路 4、 および出 力端子 5で構成され、 画像データの画素を間引き、 さらに間引き後の画素のレべ ル方向のビッ トを減らすことにより圧縮して送信するようになされており、 受信 装置 2 0 D は、 入力端子 7、 受信処理回路 8、 デコーダ 9、 ブロック化回路 5 2、 クラスタリング回路 5 3、 メモリ 5 4、 画素データ作成回路 5 5、 画像メモ リ 5 6、 合成回路 1 0、 ブロック化回路 1 1、 クラスタリング回路 1 2、 メモリ 1 3、 補間データ作成回路 1 4、 および出力端子 1 5で構成され、 送信装置 1 0 Dからの圧縮された画像データを伸張するようになされている。
即ち、 送信装置 1 0 D には、 例えば、 図 3で示される第 1の実施の形態と同様 に、 各フレームが構成される動画像 （以下、 適宜、 全画素動画像という） のディ ジタル画像デ一タが供給される。 このディジタル画像データを構成する各画素は、 例えば 1 2ビッ トであるとする。 このディジタル画像データは、 入力端子 1を介 して、 サブサンプリング回路 2に供給される。 サブサンプリング回路 2では、 図
3で示される第 1の実施の形態と同様に、 そのディジタル画像データとしての動 画像を構成する各フレームの画素が、 例えば、 図 4に示すように、 空間方向およ び時間方向の両方向に、 五の目格子状に間引かれることにより圧縮される。 つま り、 全画素動画像の各フレームについて、 空間方向および時間方向の両方向に、 五の目格子状に間引き （以下、 適宜、 空間/時間五の目間引きという） が行われ ることにより、 空間方向および時間方向のいずれの方向にも、 画素が 1つおきに 存在する間引き画像データが生成される。 サブサンプリング回路 2において空間 /時間五の目間引きの施された間引き後画素 （画素データ） からなる間引き画像 データが、 ビッ ト落とし回路 5 1に供給される。
ビッ ト落とし回路 5 1では、 供給された間引き画像データの各画素 （画素デー タ） の 1 2ビッ トのうち、 L S B ( L e a s t S i g n i f i c a n t
B i t ) から 4ビッ ト分のビッ トを削除して、 8ビッ 卜のビッ ト修正画素 （画素 データ） を生成する。 そして、 この各ビッ ト修正画素 （画素データ） からなる修 正間引き画像データが、 エンコーダ 3に供給される。
エンコーダ 3では、 図 3に示される第 1の実施の形態と同様に、 修正間引き画 像データが高能率符号化され、 符号化データとして送信処理回路 4に供給される。 送信処理回路 4では、 図 3に示される第 1の実施の形態と同様に、 符号化データ に対して、 例えば、 エラー訂正、 パケッ ト化、 チャネル符号化などの必要な信号 処理が施され、 その結果得られる伝送データが、 出力端子 5を介して出力される。 この伝送データは、 同様に、 所定の伝送路 6を介して送信される。
伝送路 6からの伝送データは、 受信装置 2 0 D の入力端子 7を介して、 受信 処理回路 8で受信される。 受信処理回路 8では、 伝送データに対して、 チャネル 複号化、 アンパケッ ト化、 エラ一訂正などの必要な信号処理が施され、 その結果 得られる符号化データが、 デコーダ 9に供給される。 デコーダ 9では、 送信 の 1 O D のエンコーダ 3の符号化処理と対応する復号処理でその符号化データ がデコードされることにより、 ビッ ト修正画素 （画素データ） で構成される修正 間引き画像データとされ、 ブロック化回路 5 2に供給される。 ― ブロック化回路 5 2は、 例えば、 図 1 7に示すように、 注目すべきビッ ト修正 画素 x 'の空間方向の上下左右及び斜めに隣接する 8つのビッ ト修正画素 （画素 データ） A， B， C， D， E， F， G， Hを 1つのブロックにしてクラスタップ と予測タップを生成し、 クラスタップをクラスタリング回路 5 3に、 予測タップ を画素データ作成回路 5 5にそれぞれ供給する。 なお、 ブロック化回路 5 2は、 すべてのビッ ト修正画素について、 その上下左右及び斜めに隣接するビッ ト修正 画素 （画素データ） でなるブロックを構成して、 クラスタップとしてクラスタリ ング回路 5 3に、 予測タップとして補間データ作成回路 5 5にそれぞれ供給する。 なお、 ここでは、 クラスタップと予測タップは同一のものとしている。
クラスタリング回路 5 3は、 ブロック化回路 5 2からのブロックを、 それを構 成するビッ ト修正画素の性質に応じて所定のクラスにクラスタリングする。 クラ スタリングの原理については、 第 1の実施の形態を説明する際に図 1 0及び図 1 1を用いて説明したため、 ここではその説明は省略する。
クラスタリング回路 5 3は、 ブロック （クラスタップ） を構成する 8つのビッ ト修正画素 （画素データ） に対して 1ビッ ト A D R C処理を施し、 注目ビット修 正画素 X 'に対するクラスを表す 8ビッ トのクラスコードを発生する。
以上のようなクラスタリングにより得られたクラスは、 メモリ 5 4に対して、 アドレスとして与えられる。 メモリ 5 4は、 8ビットに修正されたビッ ト修正画 素 Xから 1 2ビッ トの画素を予測するための予測データを、 クラスごとに記憶し ており、 クラスタリング回路 5 3からアドレスとしてのクラスが与えられると、 そのクラスに対応する予測データを読み出し、 画素データ作成回路 5 5に供給す る。
ここで、 いまの場合、 メモリ 5 4においては、 例えば、 所定の位置の注目ビッ ト修正画素 x 'を、 その上下左右に隣接するビット修正画素 （画素データ） Ά—乃 至 H (図 1 7 ) (予測タップ） を用いた線形一次式により予測するための、 その 線开一次式の係数のセッ ト w 1， w 2 , w 3 , w 4 , w 5 , w 6 , w 7 , w 8が, 予測データとして記憶されている。 従って、 メモリ 5 5から画素データ作成回路 5 5には、 注目ビッ ト修正画素に対するクラスに対応する係数のセッ ト w 1乃至 w 8力^ 予測データとして供給される。
画素データ作成回路 5 5は、 予測データとしての係数のセット w 1乃至 w 8を 受信すると、 その予測データとしての係数のセッ ト w 1乃至 w 8と、 ブロック化 回路 1 1から供給されたブロック （予測タップ） を構成するビッ ト修正画素 （画 素データ） の画素値 A乃至 Hとを用いて、 次の線形一次式を演算することにより、 8ビッ トの注目ビッ ト修正画素 Xに対する 1 2ビッ トの復元画素 （画素データ） を生成 （予測） する。
X = w 1 A + w 2 B + w 3 C - - - + w 8 H
• · · ( 3 ) 画素データ作成回路 5 5で求められた画素 X 'は、 画像メモリ 5 6に供給され て記憶される。 以上の処理が、 例えば 1 フレームにおいて行われて、 それぞれ生 成された画素データが画像メモリに記憶される。 この画像メモリ 5 6に記憶され た画素からなる画像データは、 送信装置 1 0 D のサブサンプリング回路 2の出 力である間引き画像データとほぼ同一の間引き画像データとして復元される。
また、 画像メモリ 5 6に記憶された間引き画像データは、 図 3に示される第 1 の実施の形態の受信装置 2 0 D のデコーダ 9から出力された間引き画像データ と同じであり、 第 3の実施の形態においても、 画像メモリ 5 6に記憶された間引 き画像データは、 図 3に示される第 1の実施の形態と同様に、 間引き画素が生成 され、 画像データが復元される。 この結果、 出力端子 1 5からは、 全画素動画像 を構成するフレームのデータが出力される。 なお、 図 1 6に示される第 3の実施 の形態の受信装置 2 0 D のブロック化回路 1 1、 クラスタリング回路 1 2、 メ モリ 1 3、 補間データ作成回路 1 4及び合成回路の構成及び動作は、 図に示され る第 1の実施の形態と同じであるため、 ここではその説明を省略する。 次に、 8 ビッ 卜のビッ ト修正画素 （画素データ） から 1 2ビッ トの復元画素 (画素データ） x 'を求めるのに、 式 （3 ) の線形一次式を構成するための予測 データとしての係数のセッ ト w 1， w 2 , w 3 , w 4 , w 5 , w 6 , w 7 , w 8 は、 学習により求められるようになされている。
図 1 8は、 第 3の実施の形態における、 8ビッ トのビット修正画素 （画素デー タ） から 1 2ビッ トの復元画素 （画素データ） X 'を求めるための予測データと しての係数のセット w l， w 2 , w 3 , w 4 , w 5 , w 6 , w 7 , w 8を求める ための学習を行う学習装置の第 1の実施の形態の構成例を示している。
入力端子 2 1には、 各画素が 1 2ビッ トである学習用の全画素動画像が、 例え ば、 フレーム単位で入力される。 ここで、 学習用の全画素動画像は、 予測データ の係数のセッ ト w l， w 2 , w 3 , w 4 , w 5 , w 6 , w 7， w 8の作成を考慮 した標準的なものであるのが望ましい。
入力端子 6 1に入力された全画素動画像のフレームは、 ブロック化及びビッ ト 落とし回路 6 2に供給される。 プロック化及びビット落とし回路 6 2は、 そこに 供給されたフレームを構成する画素から、 図 1 7に示した所定の注目ビッ ト修正 画素 X 'に対する 1 2 ビッ トの画素を注目画素 （画素データ） として、 その注目 画素に対してビッ ト修正画素 （画素データ） A乃至 Hとなる 1 2 ビッ トの画素
(画素データ） を選択する。 そして、 この選択された 8つの画素 （画素データ） の各画素の 1 2ビッ トのうち、 L S B ( L e a s t S i g n i f i c a n t B i t ) から 4ビッ ト分のビットを削除して、 8ビットのビッ ト修正画素 （画素 データ） を生成する。 その生成された 8つのビッ ト修正画素 （画素データ） でブ ロック （クラスタップ及び予測タップ） を構成して、 クラスタリング回路 6 4に 供給する。 さらに、 ブロック化及びビット落とし回路 6 2は、 そのブロックを構 成する 8つのビッ ト修正画素 （画素データ） に、 注目画素 （画素データ） を加え た合計 9画素 （画素データ） を、 データメモリ 2 3の入力端子 I Nに供給する。 クラスタリング回路 6 4は、 図 1 6のクラスタリング回路 5 3と同様に、 そこ に供給されるブロック （クラスタップ） をクラスタリングし、 その結果得られる クラスを、 スィッチ 65の端子 65 aに供給する。 ここで、 スィッチ 6 5は、 学 習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが 終了するまでは、 端子 6 5 aを選択しており、 従って、 クラスタリング回路 64 が出力する各注目ビッ ト修正画素に対するクラスは、 スィッチ 6 5を介して、 デ 一タメモリ 63のァ ドレス端子 A Dに供給される。
データメモリ 63は、 そのァドレス端子 A Dに供給されるクラスに対応するァ ドレスに、 その入力端子 I Nに供給される画像データを記憶する。
ここで、 例えば、 学習用の全画素動画像から得られるすべてのブロック （クラ スタップ） のうち、 所定のクラス C l a s sに分類されるものについての注目画 素 （画素データ） を X ' 1， X ' 2， · · ·， X ' nとする。 また、 注目画素 X 1 の上下左右に隣接するビッ ト修正画素 （画素データ） を A l， B l， C 1 , D l， Ε 1 , F l， G l， H I と、 注目画素 （画素データ） X 2の上下左右に隣接する ビット修正画素 （画素データ） を A 2， B 2, C 2， D 2 , Ε 2 , F 2 , G 2 , Η2と、 · · ·、 注目画素 （画素デ一タ） X ηの上下左右に隣接するビッ ト修正 画素 （画素データ） を An, B n， Cn， Dn， E n， F n, Gn， Hnと、 そ れぞれする。 この場合、 上述の処理により、 メモリ 23の、 クラス C I a s sに 対応するア ドレスには、 x ' l， X ' 2 , · · ·， X ' n , A 1 , A 2 , · · ·， A n , Β 1 , Β 2 , · · ·， Β η， C 1 , C 2 , · · ·， C η , D 1 , D 2, - - · , Dn, E l , E 2, - - · , E n, F l , F 2, · · · , F n , G 1 , G 2, • • •， Gn， Hl， H 2， · · ·， H nが各画素データとして記憶 される。
学習用の全画素動画像から得られるすべてのブロック （クラスタップ） につい てのクラスタリングが終了すると、 スィッチ 6 5は端子 65 bを選択する。 端子 65 bには、 カウンタ 66の出力が供給されるようになされており、 カウンタ 6 6は、 所定のクロック CKをカウントすることにより、 順次変化するアドレスを 発生するようになされている。 従って、 カウンタ 66が発生するア ドレスは、 ス イッチ 65を介して出力される。 カウンタ 6 6からスィッチ 65を介して出力されるアドレスは、 データメモリ 63のァドレス端子 ADと、 メモリ 68のァ ドレス端子 ADとに供給される。 デ一タメモリ 63においては、 そのアドレス端子 ADに供給される、 カウンタ 6 6からのア ドレスにしたがって、 その記憶内容 （注目画素 （画素データ） とそ れに隣接するビット修正画素 （画素データ） ） が読み出され、 最小自乗法演算回 路 6 7に供給される。 最小自乗法演算回路 6 7では、 データメモリ 63から供給 されるデータに基づいて、 方程式がたてられ、 これが、 例えば、 最小自乗法によ つて解かれることにより、 予測データとしての係数のセッ ト w 1乃至 w 8が求め られる。
即ち、 上述のクラス C 1 a s sに注目した場合、 最小自乗法演算回路 2 7では、 データメモリ 23の、 クラス C 1 a s sに対応するァドレスに記憶されたデータ X ' 1 , X ' 2 , · · ·， X ' n , A 1 , A 2 , · · · , A n , B 1 , B 2， · · ·， B n， C 1 , C 2 , · · ·， C n , D 1 , D 2 , · · ·， Dn, E 1， E 2， · · ·， E n, F 1 , F 2 , · · ·， F n , G 1 , G 2, · · ·， G n, H I , H 2, . · ·， Hnを用いて、 式 （3) に対応する、 以下のような連 立方程式がたてられる。
X ' 1 =W 1 A 1 +W 2 B 1 +W3 C 1 +W4 D 1
+w5 E l +w 6 F 1 +W 7G 1 +W8 H 1 x ' 2=w l A2+w 2 B 2+w3 C 2+w4 D 2
+w5 E 2+w 6 F 2+w7G 2+w8H2
' n=wl An+w 2 B n+w3 Cn+w4 Dn
+w5 E n+w6 F n+w7G n+w8Hn
• · · (4)
そして、 最小自乗法演算回路 6 7は、 式 （4) の連立方程式を、 最小自乗法 よって解くことにより、 クラス C I a s sについての予測データとしての係数の セッ ト w 1乃至 w8を求める。 他のクラスについての予測データも同様にして求 められる。
最小自乗法演算回路 6 7で求められた予測データとしての係数のセッ ト w 1乃 至 w 8は、 メモリ 68に供給される。 従って、 クラス C 1 a s sについての予測 デ一タとしての係数のセッ ト w 1乃至 w 8は、 メモリ 63において、 データ X '
1 , ' 2 , · · ·， X ' n , A 1 , A 2 , · · ·， An, B 1 , B 2， · · ·， B n , C 1 , C 2 , · · ·， C n , D 1 , D 2， · · ·， D n , E 1 , E
2, - - · , E n, F l , F 2, - - · , F n, G l , G 2, · · · , G n , H 1， H 2, · · ·， Hnが記憶されていたアドレスと同一のメモリ 68のァ ドレ スに記憶される。 他のクラスについての予測データとしての係数のセッ トも、 同 様にして、 メモリ 28に記憶される。
図 1 6のメモリ 54には、 以上のようにしてメモリ 68に記憶された予測デ一 タが記憶されている。 なお、 図 1 6のメモリ 1 3には、 図 1 2の学習装置によつ て生成された予測データとしての係数のセットが記憶される。
次に、 図 1 6のメモリ 54には、 予測データとして、 式 （3) に示した線形一 次式を計算するための係数のセッ トではなく、 画素値そのものを記憶させておく ようにすることができる。
図 1 9は、 画素値を予測データとしてメモリ 54に記憶させる場合の、 その予 測データを求める学習装置の第 2の実施の形態の構成例を示している。 なお、 図 中、 図 1 8における場合と対応する部分については、 同一の符号を付してある。 入力端子 6 1に入力された全画素動画像のフレームは、 ブロック化及びビッ ト 落とし回路 6 2に供給される。 ブロック化及びビッ ト落とし回路 6 2は、 そこに 供給されたフレームを構成する画素から、 図 1 8における場合と同様に、 ブロッ ク （クラスタップ） を構成し、 クラスタリング回路 64に供給する。 所定の注目 ビッ ト修正画素 x 'に対する 1 2ビッ トの注目画素 （画素データ） だけを演算器 74に供給する。 クラスタリング回路 6 4は、 図 1 6のクラスタリング回路 5 3と同様に、 そこ に供給されるブロック （クラスタップ） をクラスタリングし、 その結果得られる クラスを、 データメモリ 7 0のァ ドレス端子 A Dと、 度数メモリ 7 1のア ドレス 端子 A Dとに供給する。
ここで、 データメモリ 7 0および度数メモリ 7 1は、 学習を開始する前に、 そ の記憶内容が 0にクリアされるようになされている。
度数メモリ 7 1では、 そのアドレス端子 A Dに、 ア ドレスと してのクラスが供 給されると、 そのア ドレスの記憶内容としての度数が読み出され、 その出力端子 O U Tから出力される。 度数メモリ 7 1から出力された度数は、 演算器 7 2に供 給され、 1だけインクリメントされる。 このインク リメン ト結果は、 度数メモリ 7 1の入力端子 I Nに供給され、 インクリメント前の度数が記憶されていたァド レスに記憶される （上書きされる） 。
—方、 データメモリ 7 0では、 そのア ドレス端子 A Dに、 アドレスとしてのク ラスが供給されると、 やはり、 そのア ドレスの記憶内容が読み出され、 その出力 端子 O U Tから出力される。 データメモリ 7 0の出力は、 演算器 7 3に供給され る。 演算器 7 3には、 さらに、 度数メモリ 7 1が出力する度数も供給されており、 そこでは、 この度数と、 データメモリ 7 0の出力とが乗算される。 この乗算結果 は、 演算器 7 4に供給される。
演算器 7 4では、 演算器 7 3における乗算結果と、 ブロック化及びビッ ト落と し回路 6 2からの注目画素 （画素データ） の画素値とが加算され、 その加算値は、 演算器 7 5に供給される。 演算器 7 5には、 さらに、 演算器 7 2による度数のィ ンクリメント結果も供給されており、 そこでは、 演算器 7 4の加算結果を被除数 とするとともに、 加算器 7 2のインクリメント結果を除数として、 除算が行われ る。 この除算結果は、 デ一タメモリ 7 0の入力端子 I Nに供給され、 クラスタリ ング回路 7 4が出力するクラスに対応するァドレスに記憶される （上書きされ る） 。
図 1 9の学習装置において、 デ一タメモリ 7 0および度数メモリ 7 1 のあるァ ドレス a dへのアクセスが最初に行われる場合には、 ブロック化及ぴビッ ト落と し回路 6 2から演算器 7 4に供給されるデータ X ' 1がそのまま、 データメモリ 6 0のァドレス a dに書き込まれ、 また、 度数メモリ 7 1のアドレス a dには、 1が書き込まれる。 その後、 再度、 ア ドレス a dへのアクセスが行われ、 このと きにプロック化及びビッ ト落とし回路 6 2から演算器 7 4に供給されるデータが x ' 2であったとすると、 演算器 7 2の出力は 2となり、 また、 演算器 7 4の出 力は X ' 1 + X ' 2となるから、 演算器 7 5の出力は （x l + x 2 ) Z 2となり、 これが、 データメモリ 6 0のアドレス a dに書き込まれる。 そして、 度数メモリ 6 1のアドレス a dには、 演算器 7 2の出力である 2が書き込まれる。 さらに、 再び、 アドレス a dへのアクセスが行われ、 このときにブロック化及びビッ ト落 とし回路 6 2から演算器 6 4に供給されるデータが X ' 3であったとすると、 同 様の処理により、 デ一タメモリ 6 0のァドレス a dには、 （X 1 + X 2 + X 3 ) ノ 3が書き込まれ、 度数メモリ 6 1のア ドレス a dには、 3が書き込まれる。 以上のようにして、 データメモリ 7 0には、 各クラスに分類される注目ビッ ト 修正画素に対する注目画素の画素値の平均値が記憶される。
なお、 図 1 6のメモリ 5 4に、 データメモリ 7 0に記憶された画素値を、 予測 用データとして記憶させる場合には、 その予測用データとしての画素値を、 メモ リ 5 4から読み出すこと力' 間引き画素を予測することになるから、 画素データ 作成回路 5 5は設ける必要がなくなる。 なお、 図 1 6のメモリ 1 3には、 図 1 2 の学習装置によって生成された予測データとしての係数のセットが記憶される。 ところで、 上述の場合には、 図 1 6のブロック化及びビッ ト落とし回路 5 1に おいて、 図 1 7に示したように、 注目ビット修正画素 X 'の空間方向の上下左右 に隣接する 8つのビッ ト修正画素 （画素データ） A， B， C , D， E， F， G , Hで 1つのブロック （クラスタップ及び予測タップ） を構成するようにしたが、 ブロックは、 注目ビッ ト修正画素 X 'の時間方向に隣接する間引き後画素も含め て構成することが可能である。 この場合、 時間方向のビット修正画素 （画素デ一 タ） をも考慮してクラスタリングや、 式 （3 ) の演算が行われるので、 注目ビッ ト修正画素 X 'を、 より元のものに近いものに復元することが可能となる。 なお、 この場合、 学習時においても、 同様にブロックを構成する必要がある。 また、 ブ ロック （クラスタツプゃ予測タップ） は、 注目ビット修正画素 Xの時間方向にあ る間引き後画素だけで構成することも可能である。
また、 本第 3の実施の形態では、 ある注目ビッ ト修正画素に注目した場合にお いて、 クラスタリングに用いるビッ ト修正画素と、 式 （3 ) に示した線形一次式 を計算するのに用いるビッ ト修正画素とを同一のものとしたが、 これらは、 同一 である必要はない。 即ち、 クラスタリングと式 （3 ) の演算とには、 それぞれ 別々の間引き後画素の集合を用いることができる。 なお、 画像の空間的な特徴
(ァクティビティ） や動き等に応じてクラスタップや予測タップの切り出し方を 適応的に変えてもよい。
また、 クラスタリングに用いるビット修正画素や、 式 （3 ) に示した線形一次 式を計算するのに用いるビッ ト修正は、 注目ビッ ト修正画素に対して、 空間的ま たは時間的に隣接している必要はない。 但し、 注目ビッ ト修正画素の周辺にある ビット修正画素を用いるのが望ましい。
また、 クラスタリング回路に A D R C処理を用いて空間的なァクティビティに 基いてクラスを決定したが、 プロックの動きを検出してその動きをクラスに用い てもよいし、 A D R C処理と動き検出の組み合せに基いたクラスを決定するよう にしてもよレ、。
また、 本実施の形態において、 動画像を構成する各フレームの各画素は 1 2ビ ットであるが、 本発明はこれに限らず、 8ビッ ト、 1 0ビッ ト、 1 6ビッ トなど の別のビッ トでもよレ、。
また、 本実施の形態において、 クラスタップや予測タップに注目ビッ ト修正画 素 （画素データ） は含まれていないが、 本発明はこれに限らず、 クラスタップや 予測タップに注目ビッ ト修正画素 （画素データ） を含めてもよい。 この場合、 ク ラス毎の予測データを生成する学習時においても同様に、 クラスタップや予測タ ップに注目ビット修正画素 （画素データ） を含める必要性がある。 なお、 画像メモリ 5 6からの画像データを処理する後続する回路 （ブロック化 回路 1 1、 クラスタリング回路 1 2、 メモリ 1 3、 補間データ作成回路 1 4、 合 成回路 1 0 ) に対する変形例は第 1の実施の形態と同様であるので、 ここでの記 載は省略する。
以上、 本発明を適用した送受信システムについて説明したが、 このような送受 信システムは、 テレビジョン放送は勿論、 画像を記録 Z再生する場合などにも用 いることができる。
本発明の画像処理装置および画像処理方法によれば、 動画像を構成する各フレ ームの画素が、 空間方向および時間方向の両方向に、 五の目格子状に間引かれる。 また、 本発明の伝送媒体および伝送方法によれば、 動画像を構成する各フレーム の画素を、 空間方向および時間方向の両方向に、 五の目格子状に間引くことによ り得られるデータが伝送される。 従って、 動画像の水平、 垂直、 および斜め方向 の解像度を維持しながら、 その情報量を低減することが可能となる。
また、 本発明の画像処理装置および画像処理方法によれば、 動画像を構成する 各フレームの画素を、 空間方向および時間方向の両方向に、 五の目格子状に間引 くことにより得られる間引き後画素から元の画像が生成される。 従って、 画質の 劣化の少ない画像を得ることが可能となる。
さらに、 本発明の画像処理装置および画像処理方法によれば、 動画像を構成す る各フレームの画素が、 空間方向および時間方向の両方向に、 五の目格子状に間 引かれ、 間引き画素の各画素のビッ トがさらにビッ ト間引きされる。 また、 本発 明の伝送媒体および伝送方法によれば、 動画像を構成する各フレームの画素を、 空間方向および時間方向の両方向に、 五の目格子状に間引き、間引き後画素の各 画素のビッ トをさらにビット間引きすることにより得られるデータが伝送される。 従って、 動画像の水平、 垂直、 および斜め方向の解像度を維持しながら、 その情 報量を低減することが可能となる。
また、 本発明の画像処理装置および画像処理方法によれば、 動画像を構成する 各フレームの画素を、 空間方向および時間方向の両方向に、 五の目格子状に間引 き、 間引き後画素の各画素のビッ トをさらにビッ ト間引きすることにより得られ る間引き後画素から元の画像が生成される。 従って、 画質の劣化の少ない画像を 得ることが可能となる。 産業上の利用可能性
ディジタル画像データを伝送し、 そのディジタル画像データを復元する際に、 画質劣化が少ない新しい画像フォーマットを提供する。

Claims

請求の範囲
1 . 動画像を構成する画像データを処理する画像処理装置において、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォーマツ トとなるように、 各フレーム毎に画素を間引くことに より間引き画像データを生成する間引き手段と、
上記間引き画像データを出力する出力手段と
を備えることを特徴とする画像処理装置。
2 . 請求の範囲第 1項に記載の画像処理装置において、 さらに、
上記間引き画像データを構成する各画素に対して、 その画素のレベル方向のビ ッ ト間引きを施すことにより修正間引き画像データを生成するビッ ト間引き手段 とを有し、
上記出力手段は、 上記修正間引き画像データを出力する
ことを特徴とする画像処理装置。
3 . 動画像を構成する画像データを処理する画像処理方法において、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォーマツ トとなるように、 各フレーム毎に画素を間引くことに より間引き画像データを生成し、
上記間引き画像データを出力する
ことを特徴とする画像処理方法。
4 . 請求の範囲第 3項に記載の画像処理方法において、 さらに、
上記間引き画像データを構成する各画素に対して、 その画素のレベル方向のビ ッ ト間引きを施すことにより修正間引き画像データを生成し、
上記修正間引き画像データを出力する ことを特徴とする画像処理方法。
5 . 動画像を構成する画像データの画素を間引くことにより生成されたデータを 伝送する伝送方法において、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォーマツ トとなるように、 各フレーム毎に画素を間引くことに より間引き画像データを生成し、
上記間引き画像データを伝送する
ことを特徴とする伝送方法。
6 . 請求の範囲第 5項に記載の伝送方法において、 さらに、
上記間引き画像データを構成する各画素に対して、 その画素のレベル方向のビ ット間引きを施すことにより修正間引き画像データを生成し、
上記修正間引き画像データを伝送データとして伝送する
ことを特徴とする伝送方法。
7 . 動画像を構成する画像データの画素を間引くことにより生成されたデータを 伝送する伝送媒体において、
上記伝送媒体によって伝送されるデータは、 動画像を構成する各フレームの画 素に対して空間方向及び時間方向の両方向に五の目格子状のフォーマツ トとなる ように、 各フレーム毎に画素を間引くことにより生成された間引き画像データで ある
ことを特徴とする伝送媒体。
8 . 請求の範囲第 7項に記載の伝送媒体において、 さらに、
上記間引き画像データを構成する各画素に対して、 その画素のレベル方向のビ ット間引きを施すことにより生成された修正間引き画像データを上記データとし て伝送する
ことを特徴とする伝送媒体。
9 . 動画像を構成する画像フォーマッ トにおいて、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォーマツ トとなるように、 各フレーム毎に画素の間引きが施さ れた
ことを特徴とする画像フォーマツ ト。
1 0 . 請求の範囲第 9項に記載の画像フォーマッ トにおいて、 さらに、
各フレーム毎に間引きが施されたデータの各画素に対して、 その画素のレベル 方向のビッ ト間引きが施された
ことを特徴とする画像フォーマツ ト。
1 1 . 動画像を構成する画像データの画素を間引くことによって生成された間引 きデータを処理する画像処理装置において、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォーマツトとなるように、 各フレーム毎に画素を間引くことに より生成された間引き画像データを受信する受信手段と、
上記間引き画像データに対して間引かれた画素を生成し、 元の画像データを復 元する復元手段と
を備えることを特徴とする画像処理装置。
1 2 . 請求の範囲第 1 1項に記載の画像処理装置において、
上記復元手段は、
上記間弓 Iき画像デ一タの注目間引き画素に対して、 その画素の性質を表す所定 のクラスを決定する決定手段と、 上記決定されたクラスに応じて元の画素を予測し、 元の画素データを発生する 発生手段と
からなることを特徴とする画像処理装置。
1 3 . 請求の範囲第 1 2項に記載の画像処理装置において、
上記発生手段は、 標準的に動画像を構成する画像データを用いてクラス毎に予 め学習によって生成された予測データをクラス毎に記憶するメモリを有し、 上記 決定されたクラスに対応する予測データを読み出し、 その読み出された予測デー タに基いて元の画素データを発生する
ことを特徴とする画像処理装置。
1 4 . 請求の範囲第 1 3項に記載の画像処理装置において、
上記メモリは、 上記予測データとしてクラス毎に予測係数のセッ トを記憶し、 上記発生手段は、 上記決定されたクラスに対応する予測係数のセッ トを読み出 し、 その読み出された予測のセッ トと上記注目ビッ ト間引き画素の周辺に位置す る複数のビッ ト間引き画素とに基いて元の画素データを発生する
ことを特徴とする画像処理装置。
1 5 . 請求の範囲第 1 3項に記載の画像処理装置において、
上記メモリは、 上記予測データとしてクラス毎に画素値を記憶し、
上記発生手段は、 上記決定されたクラスに対応する画素値を読み出して、 その 画素値を元の画素データとして出力する
ことを特徴とする画像処理装置。
1 6 . 請求の範囲第 1 2項に記載の画像処理装置において、
上記決定手段は、 上記注目ビッ ト間引き画素に対して、 空間方向及びまたは時 間方向に位置するビッ ト間引き画素を用いてクラスを決定する ことを特徴とする画像処理装置。
1 7 . 動画像を構成する画像データの画素を間引くことによって生成された間引 きデータを処理する画像処理装置において、
動画像を構成する各フレームの画素に対して空間方向及び時間方向の両方向に 五の目格子状のフォ一マツ トとなるように、 各フレーム毎に画素を間引くことに より生成された間引き画像データの各画素を、 さらにその画素のレベル方向のビ ッ ト間引きすることより得られた修正間引き画像データを受信する受信手段と、 上記修正間引き画像データの各ビッ ト間引き画素に対して元の画素を生成する ことにより間引きが画像データを生成し、 上記間引き画像デ一タの間引き画素か ら元の画像データを復元する復元手段と
を備えることを特徴とする画像処理装置。
1 8 . 請求の範囲第 1 7項に記載の画像処理装置において、
上記復元手段は、
上記ビッ ト間引き画像データの注目ビット間引き画素に対して、 その画素の性 質を表す所定のクラスを決定する第 1の決定手段と、
上記決定されたクラスに応じて元の画素を予測することにより元の画素データ を発生する第 1の発生手段と、
上記第 1の発生手段によつて発生された上記画素データからなる間引き画像デ ータの注目間引き画素に対して、 その画素の性質を表す所定のクラスを決定する 第 2の決定手段と、
上記決定されたクラスに応じて元の画素を予測し、 元の画素データを発生する 第 2の発生手段と
からなることを特徴とする画像処理装置。
1 9 . 請求の範囲第 1 8項に記載の画像処理装置において、 上記第 1の発生手段は、 標準的に動画像を構成する画像データを用いてクラス 毎に予め学習によって生成された予測データをクラス毎に記憶するメモリを有し、 上記第 1の決定手段によって決定されたクラスに対応する予測データを読み出し, その読み出された予測データに基いて元の画素データを発生し、
上記第 2の発生手段の各々は、 標準的に動画像を構成する画像データを用いて クラス毎に予め学習によって生成された予測データをクラス毎に記憶するメモリ を有し、 上記第 2の決定手段によって決定されたクラスに対応する予測デ一タを 読み出し、 その読み出された予測データに基いて元の画素データを発生する ことを特徴とする画像処理装置。
2 0 . 請求の範囲第 1 9項に記載の画像処理装置において、
上記第 1の発生手段のメモリは、 上記予測データとしてクラス毎に予測係数の セッ トを記憶し、
上記第 1の発生手段は、 上記決定されたクラスに対応する予測係数のセッ トを 読み出し、 その読み出された予測のセッ 卜と上記注目ビッ ト間引き画素の周辺に 位置する複数のビッ ト間引き画素とに基いて元の画素データを発生し、
上記第 2の発生手段のメモリは、 上記予測データとしてクラス毎に予測係数の セッ トを記憶し、
上記第 2の発生手段は、 上記決定されたクラスに対応する予測係数のセッ トを 読み出し、 その読み出された予測のセットと上記注目間引き画素の周辺に位置す る複数のビット間引き画素とに基いて元の画素データを発生する
ことを特徴とする画像処理装置。
2 1 . 請求の範囲第 1 9項に記載の画像処理装置において、
上記第 1の発生手段のメモリは、 上記予測データとしてクラス毎に画素値を記 Ί-&し、
上記第 1の発生手段は、 上記決定されたクラスに対応する画素値を読み出して—、 その画素値を元の画素データとして出力し、
上記第 2の発生手段のメモリは、 上記予測データとしてクラス毎に画素値を記 mし、
上記第 2の発生手段は、 上記決定されたクラスに対応する画素値を読み出して、 その画素値を元の画素データとして出力する
ことを特徴とする画像処理装置。
2 2 . 請求の範囲第 1 8項に記載の画像処理装置において、
上記第 1の決定手段は、 上記注目ビット間引き画素に対して、 空間方向及びま たは時間方向に位置するビッ ト間引き画素を用いてクラスを決定し、
上記第 2の決定手段は、 上記注目間引き画素に対して、 空間方向及びまたは時 間方向に位置するビッ ト間引き画素を用いてクラスを決定する
ことを特徴とする画像処理装置。
PCT/JP1998/002646 1997-06-16 1998-06-16 Image processing device and method, and transmission medium, transmission method and image format WO1998058497A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IL12842398A IL128423A (en) 1997-06-16 1998-06-16 Image processing device and method, and transmission medium, tramsmission method and image format
US09/242,348 US6463178B1 (en) 1997-06-16 1998-06-16 Image processing device and method, and transmission medium, transmission method and image format
EP98924641A EP0920215A4 (en) 1997-06-16 1998-06-16 IMAGE PROCESSING METHOD AND DEVICE, TRANSMISSION MEDIUM, TRANSMISSION METHOD, AND IMAGE FORMAT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15831897 1997-06-16
JP9/158318 1997-06-16

Publications (1)

Publication Number Publication Date
WO1998058497A1 true WO1998058497A1 (en) 1998-12-23

Family

ID=15669022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/002646 WO1998058497A1 (en) 1997-06-16 1998-06-16 Image processing device and method, and transmission medium, transmission method and image format

Country Status (6)

Country Link
US (1) US6463178B1 (ja)
EP (1) EP0920215A4 (ja)
JP (1) JP4126709B2 (ja)
KR (1) KR100601743B1 (ja)
IL (1) IL128423A (ja)
WO (1) WO1998058497A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625319B1 (en) * 1999-03-30 2003-09-23 Koninklijke Philips Electronics N.V. Image compression using content-based image similarity
KR20010113047A (ko) * 2000-02-29 2001-12-24 이데이 노부유끼 데이터 처리장치 및 방법과 기록매체 및 프로그램
JP4552261B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4552264B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 エラー修整装置および方法
JP4552263B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法
CN1169303C (zh) * 2000-05-09 2004-09-29 索尼公司 数据处理装置和方法以及记录介质
EP1176807A1 (en) * 2000-07-24 2002-01-30 Agilent Technologies, Inc. (a Delaware corporation) Skewed pixel pattern sub-sampling for image sensor
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
GB2392793A (en) * 2002-07-31 2004-03-10 Blip X Ltd Video compression by removing complementary sets of pixels
US7805024B2 (en) * 2004-05-05 2010-09-28 Nokia Corporation Method and apparatus to provide efficient multimedia content storage
US20060008154A1 (en) * 2004-07-01 2006-01-12 Belle Ronny V Video compression and decompression to virtually quadruple image resolution
JP4735063B2 (ja) * 2005-06-10 2011-07-27 ソニー株式会社 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム
US8077990B2 (en) 2006-04-28 2011-12-13 Pixsense Inc. Efficient content compression and decompression system and method
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
CN102378991B (zh) * 2008-06-23 2014-12-17 辛诺瓦媒体公司 用于编码的数据中的压缩增益的压缩域系统和方法
EP2308239B8 (en) * 2008-07-20 2017-08-02 Dolby Laboratories Licensing Corporation Compatible stereoscopic video delivery
JP4743319B2 (ja) * 2009-10-21 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、並びに、学習装置および学習方法
KR101643773B1 (ko) * 2009-12-03 2016-07-28 삼성전자주식회사 프리뷰 영상의 화질을 개선하기 위한 장치 및 방법
US8639057B1 (en) * 2012-03-19 2014-01-28 The Modern Video Company Artifact removal method and system for contoured images and video
US10015506B2 (en) 2013-05-20 2018-07-03 Cinova Media Frequency reduction and restoration system and method in video and image compression
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
CA3003667C (en) * 2015-10-30 2023-04-25 Paris Michaels Mobile satellite communication system
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
JPWO2021241266A1 (ja) * 2020-05-29 2021-12-02

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193003A (en) 1989-08-15 1993-03-09 Sony Corporation Apparatus for decoding digital video data with small memory requirement
EP0571180A2 (en) 1992-05-22 1993-11-24 Sony Corporation Digital data conversion equipment
JPH0746589A (ja) * 1993-07-27 1995-02-14 Sony Corp ディジタル画像信号処理装置
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JPH07240903A (ja) * 1994-02-25 1995-09-12 Sony Corp ディジタル画像信号の処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04365278A (ja) * 1991-06-13 1992-12-17 Matsushita Electric Ind Co Ltd 多画面表示回路
US5335298A (en) * 1991-08-19 1994-08-02 The United States Of America As Represented By The Secretary Of The Army Automated extraction of airport runway patterns from radar imagery
JP3104439B2 (ja) * 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
KR100360206B1 (ko) 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
JPH09101765A (ja) * 1995-07-31 1997-04-15 Canon Inc 画像処理装置
JP3294071B2 (ja) * 1995-08-01 2002-06-17 京セラ株式会社 画像形成方法及び画像形成装置
JP2776409B2 (ja) * 1995-08-02 1998-07-16 日本電気株式会社 皮膚紋様並びに指紋紋様の分類装置
JPH09322165A (ja) * 1996-05-31 1997-12-12 Sony Corp 画像復号化装置とその方法、および、画像再生装置
US5912708A (en) 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193003A (en) 1989-08-15 1993-03-09 Sony Corporation Apparatus for decoding digital video data with small memory requirement
EP0571180A2 (en) 1992-05-22 1993-11-24 Sony Corporation Digital data conversion equipment
JPH0746589A (ja) * 1993-07-27 1995-02-14 Sony Corp ディジタル画像信号処理装置
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JPH07240903A (ja) * 1994-02-25 1995-09-12 Sony Corp ディジタル画像信号の処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0920215A4

Also Published As

Publication number Publication date
JPH1175180A (ja) 1999-03-16
KR100601743B1 (ko) 2006-07-19
IL128423A0 (en) 2000-01-31
IL128423A (en) 2003-07-31
EP0920215A4 (en) 2005-09-21
US6463178B1 (en) 2002-10-08
JP4126709B2 (ja) 2008-07-30
KR20000068192A (ko) 2000-11-25
EP0920215A1 (en) 1999-06-02

Similar Documents

Publication Publication Date Title
WO1998058497A1 (en) Image processing device and method, and transmission medium, transmission method and image format
JP3104439B2 (ja) 高能率符号化及び／又は復号化装置
JP3529432B2 (ja) 動画像符号化／復号化装置
WO1994014278A1 (en) Image signal converter
JP3912627B2 (ja) 画像符号化装置および画像符号化方法、並びに伝送方法
US20130077886A1 (en) Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program
JP3946781B2 (ja) 画像情報変換装置及び方法
JPH10136381A (ja) 動画像符号化復号化装置及びその方法
JP3271095B2 (ja) ディジタル画像信号の高能率符号化装置および復号装置
JP3747970B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP4123452B2 (ja) 画像処理装置および画像処理方法
US6490321B1 (en) Apparatus and method of encoding/decoding moving picture using second encoder/decoder to transform predictive error signal for each field
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP3480461B2 (ja) ディジタル画像信号処理装置および処理方法
JPH0888849A (ja) 画像信号処理方法及び画像信号伝送装置
JP3784086B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JP2001045485A (ja) 動画像符号化装置及び方法、復号装置及び方法、並びに画像記録再生装置
JP3271109B2 (ja) ディジタル画像信号処理装置および処理方法
JP3480015B2 (ja) 画像データの生成装置および生成方法
JPH0374986A (ja) 画像データの受信装置及び方法
JP3907623B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
KR20060059769A (ko) 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
JPH0746548A (ja) ディジタル画像信号処理装置
JP3988738B2 (ja) 画像変換装置および画像変換方法
GB2341032A (en) Motion-dependent scanning frequency conversion

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 128423

Country of ref document: IL

AK Designated states

Kind code of ref document: A1

Designated state(s): IL KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): CY DE ES FR GB IT

WWE Wipo information: entry into national phase

Ref document number: 1998924641

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09242348

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1019997001310

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998924641

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997001310

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997001310

Country of ref document: KR