WO2011067869A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2011067869A1 WO2011067869A1 PCT/JP2010/002313 JP2010002313W WO2011067869A1 WO 2011067869 A1 WO2011067869 A1 WO 2011067869A1 JP 2010002313 W JP2010002313 W JP 2010002313W WO 2011067869 A1 WO2011067869 A1 WO 2011067869A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- motion compensation
- motion vector
- compensation strength
- interpolation
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 368
- 239000013598 vector Substances 0.000 claims abstract description 155
- 238000001514 detection method Methods 0.000 claims description 19
- 238000013459 approach Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 abstract description 21
- 230000009467 reduction Effects 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 19
- 230000007423 decrease Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Definitions
- the present invention relates to an image processing apparatus and image processing method for performing a frame rate conversion of converting the frame rate of the moving image.
- a display device that displays a 120 Hz moving image cannot display a 60 Hz moving image as it is, and therefore performs a frame rate conversion process for converting a 60 Hz moving image into a 120 Hz moving image.
- This frame rate conversion process is a process for creating an intermediate interpolation image between two frames from two frames of a 60 Hz moving image. Specifically, this frame rate conversion process calculates a motion vector with an arbitrary block size from two frames of a 60 Hz moving image, and uses this motion vector to generate an intermediate frame between the two frames. Is to create.
- the generated interpolation image may be broken.
- the interpolation phase of the entire screen is changed from the normal phase all at once, so that there is a problem that a problem occurs depending on the position of the screen.
- the present invention has been made in view of such problems, and an image processing apparatus and an image processing method that can achieve both error reduction and smoothness of an interpolated image after frame rate conversion with a simple configuration.
- the purpose is to provide.
- an image processing apparatus generates an interpolated image between two original images which are included in an input moving image and which are temporally mixed, thereby generating the moving image.
- An image processing apparatus for converting a frame rate, the original image being divided into a plurality of blocks, and a motion vector detecting unit for detecting a motion vector amount between the two original images for each of the blocks;
- a compensation strength determining unit that determines a motion compensation strength indicating a degree of coincidence between the original image and the interpolated image based on a plurality of the detected motion vector amounts for each predetermined region composed of a plurality of the blocks;
- An interpolation image generation unit configured to generate the interpolation image corresponding to the determined motion compensation intensity for each predetermined region;
- an interpolation image can be adaptively generated by determining the motion compensation intensity for each predetermined region based on the motion vector amount.
- the interpolation image is an image that emphasizes error reduction, it is effective for reducing errors around the person. Smoothness is lost.
- by adaptively generating the interpolated image according to the characteristics of the moving image it is possible to achieve both error reduction and smoothness of the interpolated image after frame rate conversion with a simple configuration.
- the image forming apparatus further includes a histogram creating unit that creates a histogram of the plurality of detected motion vector amounts for each of the predetermined regions, and the compensation strength determining unit is created for each of the predetermined regions.
- the motion compensation intensity is determined using the histogram.
- an interpolation image can be adaptively generated by creating a motion vector amount histogram for each predetermined region and determining the motion compensation intensity using the histogram. For this reason, by adaptively generating the interpolated image according to the characteristics of the moving image, it is possible to achieve both error reduction and smoothness of the interpolated image after frame rate conversion with a simple configuration.
- the compensation strength determination unit increases the degree of coincidence between the original image and the interpolated image as the spread width of the motion vector amount distribution indicated in the histogram increases for each predetermined region.
- the motion compensation intensity is determined so as to increase.
- the compensation intensity determination unit increases the degree of coincidence between the original image and the interpolated image as the interval between the peaks of the motion vector amount distribution shown in the histogram increases for each predetermined region. As described above, the motion compensation intensity may be determined.
- the compensation strength determination unit determines the degree of coincidence between the original image and the interpolated image as the difference between the maximum value and the minimum value of the motion vector amount indicated in the histogram increases for each predetermined region.
- the motion compensation intensity may be determined such that the value of the motion compensation intensity increases.
- the motion compensation intensity can be easily determined. For this reason, by adaptively generating the interpolated image according to the characteristics of the moving image, it is possible to achieve both error reduction and smoothness of the interpolated image after frame rate conversion with a simple configuration.
- the histogram creation unit creates the histogram for each line region, with the line region including a plurality of blocks continuous in the line direction being a horizontal direction of the image as the predetermined region,
- the compensation strength determination unit determines the motion compensation strength for each line region, and the interpolation image generation unit generates the interpolation image for each line region.
- the histogram creation unit creates the histogram for each column region by using a column region composed of a plurality of blocks continuous in the column direction which is the vertical direction of the image as the predetermined region, and determines the compensation strength.
- the unit may determine the motion compensation intensity for each column region, and the interpolation image generation unit may generate the interpolation image for each column region.
- an interpolation image is generated for each region composed of a plurality of blocks continuous in the line direction or the column direction. For this reason, for example, when a telop flows on the screen in the line direction or the column direction, an interpolation image can be easily generated for each area of the telop. For this reason, the interpolation image can be adaptively generated according to the feature of the moving image, and the error reduction and smoothness of the interpolation image after the frame rate conversion can be compatible with a simple configuration.
- the compensation strength determining unit determines the motion compensation strength so that the motion compensation strength between the adjacent predetermined regions changes continuously.
- the motion compensation strength is determined so that the continuous motion compensation strength changes continuously. For this reason, a smooth interpolation image can be generated.
- the compensation strength determination unit further acquires an overall scrolling degree indicating the possibility that the moving image is scrolling on the entire screen, and the higher the overall scrolling degree is, the more the determination is made using the histogram. Changing all the motion compensation intensities in the interpolated image so as to approach values of motion compensation intensities that are logically determined based on frame rates before and after the frame rate is converted. A new compensation strength is determined.
- the new motion compensation strength is determined so as to approach the normal interpolation image logically determined in the frame rate conversion process. . That is, when it is not necessary to create an interpolation image close to the original image, an image close to a normal interpolation image is generated. For this reason, the interpolation image can be adaptively generated according to the feature of the moving image, and the error reduction and smoothness of the interpolation image after the frame rate conversion can be compatible with a simple configuration.
- the compensation strength determination unit further acquires a region scroll degree indicating the possibility that the moving image is scrolled for each predetermined region, and the region scroll for each predetermined region.
- the degree the determined motion compensation strength is changed so as to approach the value of the motion compensation strength logically determined based on the frame rate before and after the frame rate is converted. Is newly determined.
- the motion compensation strength is newly determined so as to approach the normal interpolation image in the predetermined region. That is, in the predetermined area, when it is not necessary to create an interpolation image close to the original image, an image close to a normal interpolation image is generated. For this reason, the interpolation image can be adaptively generated according to the feature of the moving image, and the error reduction and smoothness of the interpolation image after the frame rate conversion can be compatible with a simple configuration.
- the compensation strength determining unit further acquires a telop degree indicating a possibility that a telop is displayed in the moving image for each predetermined area, and for each predetermined area, As the degree of telop is larger, the determined motion compensation strength is changed so as to approach the value of motion compensation strength that is logically determined based on the frame rate before and after the frame rate is converted. A new compensation strength is determined.
- the new motion compensation strength is determined so as to approach the regular interpolation image in the predetermined region. That is, in the predetermined area, when it is not necessary to create an interpolation image close to the original image, an image close to a normal interpolation image is generated. For this reason, the interpolation image can be adaptively generated according to the feature of the moving image, and the error reduction and smoothness of the interpolation image after the frame rate conversion can be compatible with a simple configuration.
- the present invention can be realized not only as such an image processing apparatus but also as an image processing method that uses the characteristic processing included in the image processing apparatus as a step, or such characteristic step in a computer. It can also be realized as a program to be executed. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
- the present invention is realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an image processing apparatus, or as an image processing apparatus such as a digital television provided with such an image processing apparatus. You can also do it.
- LSI semiconductor integrated circuit
- the image processing apparatus can achieve both error reduction and smoothness of an interpolated image after frame rate conversion with a simple configuration.
- FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the first embodiment.
- FIG. 2 is a flowchart showing an example of the operation of the image processing apparatus according to the first embodiment.
- FIG. 3 is a diagram schematically illustrating a process in which the image processing apparatus according to the first embodiment generates an interpolation image.
- FIG. 4A is a diagram for explaining a method for determining the motion compensation intensity using the spread of the motion vector amount distribution in the first embodiment.
- FIG. 4B is a diagram for explaining a method for determining the motion compensation strength using the spread of the motion vector amount distribution according to the first embodiment.
- FIG. 5 is a diagram showing the relationship between the motion vector amount distribution width DW and the motion compensation intensity shown in the histogram according to the first embodiment.
- FIG. 6 is a diagram illustrating an example of a filtering compensation strength determination unit in the first embodiment is performed.
- FIG. 7 is a diagram schematically showing a process for generating an interpolation image when the frame rate of a moving image is converted from 24 Hz to 120 Hz in the first embodiment.
- FIG. 8A is a diagram for explaining a method for determining the motion compensation strength using the number of peaks of the motion vector amount distribution in the second embodiment.
- FIG. 8B is a diagram for explaining a method for determining the motion compensation strength using the number of peaks of the motion vector amount distribution in the second embodiment.
- FIG. 9 is a diagram illustrating the relationship between the peak interval L of the motion vector amount distribution shown in the histogram and the motion compensation intensity in the second embodiment.
- FIG. 10A is a diagram for explaining a method for determining the motion compensation strength using the difference between the maximum value and the minimum value of the motion vector amount in the third embodiment.
- FIG. 10B is a diagram for explaining a method for determining the motion compensation strength using the difference between the maximum value and the minimum value of the motion vector amount in the third embodiment.
- FIG. 11 is a diagram showing the relationship between the difference M between the maximum value and the minimum value of the motion vector amount shown in the histogram according to the third embodiment and the motion compensation intensity.
- FIG. 12 is a flowchart illustrating an example of the operation of the image processing apparatus according to the fourth embodiment.
- FIG. 13A is a diagram illustrating processing in which the compensation strength determination unit in the fourth embodiment newly determines motion compensation strength.
- FIG. 13B is a diagram illustrating processing in which the compensation strength determination unit in the fourth embodiment newly determines motion compensation strength.
- the following embodiments are configured using hardware or software, but the configuration using hardware can be configured using software, and the configuration using software can be configured using hardware. It is configurable.
- FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus 10 according to the first embodiment.
- the image processing apparatus 10 is an apparatus that converts a frame rate of a moving image by generating an interpolation image between two original images that are included in the input moving image and that are temporally changed. As illustrated in FIG. 1, the image processing apparatus 10 includes a motion vector detection unit 11, a histogram creation unit 12, a compensation strength determination unit 13, and an interpolated image generation unit 14.
- the motion vector detection unit 11 divides the original image into a plurality of blocks, and detects a motion vector between two original images that are included in the input moving image and that are included in the input moving image.
- This block is, for example, a macro block.
- the motion vector detection unit 11 detects the amount of motion vector of the motion vector.
- the motion vector amount is a value indicating the magnitude and direction of the motion vector. That is, when the magnitude of the motion vector is different, the value of the motion vector quantity is also different, and when the direction of the motion vector is different, the value of the motion vector quantity is also different.
- the histogram creation unit 12 creates a histogram of a plurality of motion vector amounts detected by the motion vector detection unit 11 for each predetermined region composed of a plurality of blocks.
- the compensation strength determination unit 13 determines a motion compensation strength indicating the degree of coincidence between the input original image and the interpolated image based on a plurality of motion vector amounts detected by the motion vector detection unit 11 for each predetermined region. . Specifically, the compensation strength determination unit 13 determines the motion compensation strength using the histogram created by the histogram creation unit 12.
- the interpolation image generation unit 14 generates an interpolation image corresponding to the motion compensation intensity determined by the compensation intensity determination unit 13 for each predetermined region. Specifically, the interpolation image generation unit 14 uses a motion vector between two original images detected by the motion vector detection unit 11 and a motion compensation strength determined by the compensation strength determination unit 13 for each predetermined region. An interpolation image is generated by performing motion compensation processing on at least one of the two original images using the degree of coincidence between the original image shown and the interpolation image.
- FIG. 2 is a flowchart showing an example of the operation of the image processing apparatus 10 according to the first embodiment.
- the motion vector detection unit 11 detects a motion vector for each block, and detects a motion vector amount of the motion vector (S104).
- the motion vector represents the motion state of the image
- a method of detecting this motion vector is a block matching method.
- the block matching method is a method in which a target image is divided into a plurality of blocks and a target block for detecting motion and a plurality of candidate regions (hereinafter referred to as candidate blocks) within a predetermined search range in a frame before or after the target image. The degree of correlation with each other is evaluated. Then, the candidate block having the highest correlation among the candidate blocks is determined, and the displacement between the candidate block and the target block is used as a motion vector.
- search range may be set to a desired range over one or more of the previous frame and the subsequent frame with respect to the frame including the block of interest.
- the correlation value is the degree of approximation between blocks, such as the sum of absolute differences between pixels corresponding to each of the target block and the candidate block, or the sum of squared differences between pixels corresponding to each. The larger the value, the smaller the value shown.
- the histogram creation unit 12 creates a histogram of a plurality of motion vector amounts detected by the motion vector detection unit 11 for each predetermined region (S106).
- the compensation strength determination unit 13 determines the motion compensation strength for each predetermined region using the histogram created by the histogram creation unit 12 (S108).
- the interpolation image generation unit 14 generates an interpolation image corresponding to the motion compensation intensity determined by the compensation intensity determination unit 13 for each predetermined region (S110).
- the histogram creation unit 12 creates a histogram
- the compensation strength determination unit 13 determines the motion compensation strength
- the interpolation image generation unit 14 generates an interpolation image (S106 in FIG. 2). S110) will be described in detail.
- FIG. 3 is a diagram schematically illustrating a process in which the image processing apparatus 10 according to the first embodiment generates an interpolation image. Specifically, the figure schematically shows a projection process for generating an interpolated image that is image data of an intermediate frame from image data of an input frame n or image data of an input frame n + 1.
- This figure shows the phase relationship when the phase difference between the input frame n and the input frame n + 1 is 1.0, and the inter-frame distance of the motion vector detected by the motion vector detection unit 11 is 1.0. This is the case.
- gain processing is performed by multiplying the motion vector by the interpolation phase coefficient Km.
- the time direction is opposite to that in the case of generating from the input frame n, so that ⁇ (1 ⁇ Km ) To perform gain processing.
- the histogram creation unit 12 creates a histogram for each predetermined region, and the compensation strength determination unit 13 changes the interpolation phase according to the result of the histogram created by the histogram creation unit 12 to change the motion compensation strength.
- the following describes how the interpolation image generation unit 14 generates an interpolation image.
- the motion compensation strength is determined based on the histogram created by the histogram creation unit 12, but in the first embodiment, the motion compensation strength is determined using the spread of the distribution of the motion vector amount as the determination method. The method will be described.
- 4A and 4B are diagrams illustrating a method for determining the motion compensation strength using the spread of the motion vector amount distribution in the first embodiment.
- FIG. 4A is a diagram for explaining an example of a histogram showing the spread of the distribution of motion vector amounts when moving in a single direction.
- FIG. 4B is a diagram illustrating an example of a histogram showing the spread of the motion vector amount distribution when the object is moving in different directions or when the moving speed of the object is different in the same direction.
- the histogram creation unit 12 creates a histogram of motion vector quantities.
- the horizontal axis is the motion vector quantity indicating the magnitude of the motion vector
- the vertical axis is the frequency indicating the frequency of the motion vector quantity, indicating the spread of the motion vector quantity distribution. ing.
- the magnitude of the spread width DW of the distribution of the motion vector amount shown in these figures is a measure of the appearance of an error when creating an interpolation image.
- the motion vector detection unit 11 cannot completely detect a motion vector at a boundary between regions having different motion vector directions, and as a result, a direction different from the actual motion amount is detected as a motion vector. It is one of the causes.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase becomes a normal phase, and the interpolation image generation unit 14 responds to the motion compensation strength. Generate an interpolated image.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase is closer to the original image, and the interpolation image generation unit 14 sets the motion compensation strength to the motion compensation strength. A corresponding interpolation image is generated. In this way, it is possible to reduce the error occurrence probability.
- FIG. 5 is a diagram showing the relationship between the motion vector amount distribution width DW and the motion compensation intensity shown in the histogram according to the first embodiment.
- the compensation intensity determination unit 13 increases the degree of matching between the original image and the interpolated image as the spread width DW of the distribution of the motion vector amount shown in the histogram increases for each predetermined region. As described above, the motion compensation strength is determined.
- the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength decreases as the distribution spread width DW increases, and brings the interpolated image closer to the original image. That is, for example, when the motion compensation intensity is the interpolation phase coefficient Km shown in FIG. 3 (Km is a numerical value less than or equal to 0.5), the smaller the value of Km, the more consistent the original image and the interpolated image. The degree increases. Therefore, the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength decreases as the distribution spread width DW increases.
- the interpolation image generation unit 14 generates an interpolation image by performing gain processing by multiplying the motion vector by the motion compensation intensity (interpolation phase coefficient Km).
- the intensity determination unit 13 may determine the motion compensation intensity so that the motion compensation intensity increases as the distribution spread width DW increases.
- this method of controlling the interpolation phase is effective even for a telop area.
- the telop is in the horizontal direction with respect to the screen, if the entire interpolated image is created with the normal phase, the telop area should be made to move smoothly by creating the interpolated image with the normal phase.
- the non-telop area is an image in which objects with different motions pass each other as described above, an error naturally occurs.
- this error can be reduced by changing the interpolation phase for each region.
- the interpolation phase is determined according to the characteristics of the image for a portion that is not a telop area, and an image is created with a normal phase for the area determined to be a telop.
- the interpolation phase is processed on the entire screen, it is possible to reduce the problem that the scroll characters are distorted and difficult to see.
- image data corresponding to each area of the screen can be created by controlling the interpolation phase for each area as compared with the case where the interpolation phase is changed on a screen-by-screen basis, that is, on a frame-by-frame basis. It is clear.
- the interpolation phase may be set according to the characteristics of the histogram created from the motion vector as described above.
- the method of determining the interpolation phase for each region instead of determining the interpolation phase for the entire screen is also effective for an image in which the screen is partially scrolled.
- the histogram creation unit 12 creates a histogram for each line area, with a line area composed of a plurality of blocks continuous in the line direction being the horizontal direction of the image as a predetermined area. Then, the compensation strength determination unit 13 determines the motion compensation strength for each line region, and the interpolation image generation unit 14 generates an interpolation image for each line region.
- a processing circuit can be easily configured by creating this histogram for each line and setting the interpolation phase for each line. For example, for a telop flowing in the horizontal direction, it is possible to accurately detect the lines telop flows. In this way, compared to the case of creating a histogram for the entire screen, interpolation phase control adapted to individual movements can be performed, and effective interpolation phase control without a sense of incongruity can be performed.
- the histogram creation unit 12 creates a histogram for each column area, with a column area composed of a plurality of blocks continuous in the column direction being the vertical direction of the image as a predetermined area. Then, the compensation strength determination unit 13 may determine the motion compensation strength for each column region, and the interpolation image generation unit 14 may generate an interpolation image for each column region.
- Figure 6 is a diagram illustrating an example of a filtering compensation strength determination unit 13 in the first embodiment is performed.
- the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength between adjacent adjacent regions continuously changes.
- the compensation strength determination unit 13 performs filter processing to change the motion compensation strength in the center region to “0.2”, and the motion compensation strength in the upper, lower, left, and right regions adjacent to the region is “0. Change to 1 ”.
- the compensation strength determination unit 13 changes the determined motion compensation strength so that the motion compensation strength changes continuously.
- the above description has been described with respect to a display device that converts a 60 Hz moving image and displays a 120 Hz moving image.
- the display device converts a 24 Hz moving image and displays a 120 Hz moving image. Is the same.
- To convert a 24 Hz moving image and display it on a display device that displays a 120 Hz moving image four new interpolated images are generated from two frames.
- FIG. 7 is a diagram schematically showing a process for generating an interpolation image when a moving image is frame rate converted from 24 Hz to 120 Hz in the first embodiment.
- the degree of coincidence between the original image of the input frame n and the interpolated image 1 increases as the value of Km decreases. 13 determines the motion compensation intensity so that the value of Km decreases as the spread width of the distribution of the motion vector amount indicated in the histogram increases.
- the degree of coincidence between the original image of the input frame n + 1 and the interpolated image 4 increases as the value of Km increases. Determines the motion compensation intensity so that the value of Km increases as the spread width of the distribution of the motion vector amount shown in the histogram increases.
- the method of determining the motion compensation strength by the compensation strength determination unit 13 is not limited to the above method.
- the motion compensation strength may be determined so that the interpolated image 1 approaches the input frame n + 1. .
- a 24 Hz moving image that creates four interpolated images from two frames is used when the reliability of the detected vector is low. Will cause the image to be broken or broken due to an error.
- a moving image of a cinema at 24 Hz can suppress image corruption by increasing the tendency to set a phase close to the original image.
- the interpolation image is adaptively created by creating a motion vector amount histogram for each predetermined region and determining the motion compensation intensity using the histogram. Can be generated.
- the interpolation image is an image that emphasizes error reduction, it is effective for reducing errors around the person. Smoothness is lost. For this reason, by adaptively generating the interpolated image according to the characteristics of the moving image, it is possible to achieve both error reduction and smoothness of the interpolated image after frame rate conversion with a simple configuration.
- an interpolation image is generated for each area composed of a plurality of blocks that are continuous in the line direction or the column direction. For this reason, for example, when a telop flows on the screen in the line direction or the column direction, an interpolation image can be easily generated for each area of the telop.
- the motion compensation intensity is determined using the spread of the motion vector amount distribution shown in the histogram.
- the motion compensation strength is determined by controlling the interpolation phase according to the difference between the peak and the peak, thereby suppressing error reduction. Increase the effect.
- a histogram is generated in which two motion vector quantities indicating the background motion and two motion vector quantities indicating the object motion appear as peaks.
- FIGS. 8A and 8B are diagrams for explaining a method for determining the motion compensation strength using the number of peaks of the motion vector amount distribution in the second embodiment.
- FIG. 8A is a diagram for explaining an example of a histogram showing the distribution of motion vector amounts when there is one mountain.
- FIG. 8B is a diagram illustrating an example of a histogram showing the distribution of motion vector amounts when there are two peaks.
- the histogram creation unit 12 creates a motion vector amount histogram.
- the horizontal axis represents the motion vector quantity indicating the magnitude of the motion vector
- the vertical axis represents the frequency indicating the frequency of the motion vector quantity
- the number of peaks in the distribution of the motion vector quantity is the distance between the peaks.
- the difference in motion between the background and the object not only when the direction of motion is opposite, but also when there is a difference in the amount of motion in the same direction, two or more peaks of distribution can be created. Further, when the difference in the moving direction is large, the difference between the peaks of the distribution, that is, the interval between the peaks becomes large.
- the interval L shown in FIG. 8B represents the interval between the peaks.
- the peak interval is the difference in the amount of motion vector between the positions of adjacent peak peaks, specifically, the amount of motion vector when the frequency of the amount of motion vector in one peak is the maximum, This is the difference from the motion vector amount when the frequency of the motion vector amount in the other mountain is the maximum.
- the interval between the peaks is also related to the occurrence of an error.
- the motion compensation intensity is determined based on the interval L. do it. That is, the motion compensation intensity is determined so that the interpolation phase closer to the original image becomes as the interval L increases.
- the distribution histogram shows that there are two distribution peaks when the distribution type is one distribution peak.
- the distribution can be classified into three or more distribution peaks. Further, in the case where there are two distribution peaks, the peaks can be classified into cases where the difference in peak positions is large and small.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase becomes a normal phase, and the interpolation image generation unit 14 generates an interpolation image corresponding to the motion compensation strength.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase becomes a phase close to the original image, and generates an interpolation image.
- the unit 14 generates an interpolation image corresponding to the motion compensation intensity.
- the interpolation phase is set to the normal phase in the part that is scrolling, and the object and For locations that are different from the background, the interpolation phase is set to a phase close to the original image.
- the error of the interpolation image can be reduced without losing the smoothness of the scrolled portion.
- the smoothness and smoothness of the scrolling part are not lost.
- the interpolation phase may be determined in accordance with the priority item between smoothness and error reduction. That is, if priority is given to smoothness, the phase may be set to a value close to the normal phase, and if priority is given to error reduction, the phase may be set close to the original image.
- the compensation strength determination unit 13 determines the motion compensation strength
- FIG. 9 is a diagram showing a relationship between the peak interval L of the motion vector amount distribution shown in the histogram and the motion compensation intensity in the second embodiment.
- the distribution peak interval L is small, there is a high possibility that the number of distribution peaks is one, and if the distribution peak interval L is large, there is a high possibility that the number of distribution peaks is two or more. .
- the number of distribution peaks is one, it is not necessary to bring the interpolation image close to the original image.
- the number of distribution peaks is two, the larger the distribution peak interval L is, the higher the probability of occurrence of an error. Therefore, it is necessary to bring the interpolation image closer to the original image.
- the compensation intensity determination unit 13 matches the original image with the interpolated image as the peak interval L of the motion vector amount distribution shown in the histogram increases for each predetermined region.
- the motion compensation intensity is determined so as to increase the degree.
- the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength becomes smaller as the distribution peak interval L is larger, and brings the interpolated image closer to the original image. That is, for example, when the motion compensation intensity is the interpolation phase coefficient Km shown in FIG. 3 (Km is a numerical value less than or equal to 0.5), the smaller the value of Km, the more consistent the original image and the interpolated image. The degree increases. For this reason, the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength decreases as the interval L between the distribution peaks increases.
- the interpolation image generation unit 14 generates an interpolation image by performing gain processing by multiplying the motion vector by the motion compensation intensity (interpolation phase coefficient Km).
- the strength determination unit 13 may determine the motion compensation strength so that the motion compensation strength increases as the distance L between the distribution peaks increases.
- the motion compensation intensity can be easily determined according to the number of peaks in the histogram distribution and the interval between the peaks. It is possible to create a high-quality interpolated image with reduced smoothness and smoothness.
- the motion compensation intensity is determined using the spread of the motion vector amount distribution shown in the histogram or the interval between the peaks of the distribution.
- the motion compensation strength is determined using the difference between the maximum value and the minimum value of the motion vector amount in the histogram distribution.
- 10A and 10B are diagrams illustrating a method for determining the motion compensation strength using the difference between the maximum value and the minimum value of the motion vector amount in the third embodiment.
- FIG. 10A is a diagram for explaining an example of a histogram showing a distribution of motion vector amounts in which the difference between the maximum value and the minimum value is small.
- FIG. 10B is a diagram for explaining an example of a histogram showing a distribution of motion vector amounts having a large difference between the maximum value and the minimum value.
- the histogram creation unit 12 creates a motion vector amount histogram.
- the horizontal axis is the motion vector quantity indicating the magnitude of the motion vector
- the vertical axis is the frequency indicating the frequency of appearance of the motion vector quantity
- the maximum and minimum values of the motion vector quantity is shown.
- a small difference M between the maximum value and the minimum value of the motion vector amount means that the motion vector amount is concentrated on a specific value.
- the movement of the region in this case may be determined as a single movement such as scrolling, and in this case, it is considered that the possibility of error occurrence is low.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase becomes a value close to the normal phase, and the interpolation image generation unit 14 generates an interpolation image corresponding to the motion compensation strength. Thereby, smoothness can be ensured.
- the compensation strength determination unit 13 determines the motion compensation strength so that the interpolation phase becomes a phase near the original image.
- the interpolated image generation unit 14 generates an interpolated image corresponding to the motion compensation intensity.
- FIG. 11 is a diagram showing a relationship between the difference M between the maximum value and the minimum value of the motion vector amount shown in the histogram according to the third embodiment and the motion compensation intensity.
- the compensation strength determination unit 13 determines the degree of coincidence between the original image and the interpolated image as the difference between the maximum value and the minimum value of the motion vector amount shown in the histogram increases for each predetermined region.
- the motion compensation strength is determined so that becomes large.
- the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength decreases as the difference M between the maximum value and the minimum value increases, and brings the interpolated image closer to the original image. That is, for example, when the motion compensation intensity is the interpolation phase coefficient Km shown in FIG. 3 (Km is a numerical value less than or equal to 0.5), the smaller the value of Km, the more consistent the original image and the interpolated image. The degree increases. For this reason, the compensation strength determination unit 13 determines the motion compensation strength so that the motion compensation strength decreases as the difference M between the maximum value and the minimum value increases.
- the interpolation image generation unit 14 generates an interpolation image by performing gain processing by multiplying the motion vector by the motion compensation intensity (interpolation phase coefficient Km).
- the strength determination unit 13 may determine the motion compensation strength so that the motion compensation strength increases as the difference M between the maximum value and the minimum value increases.
- the motion compensation strength can be easily determined using the difference between the maximum value and the minimum value of the motion vector amount in the histogram distribution. . For this reason, by adaptively generating the interpolated image according to the characteristics of the moving image, it is possible to achieve both error reduction and smoothness of the interpolated image after frame rate conversion with a simple configuration.
- a motion vector amount histogram is created for scrolls and telops, and the motion compensation intensity is determined by controlling the interpolation phase.
- the motion compensation intensity corresponding to the degree is determined.
- FIG. 12 is a flowchart showing an example of the operation of the image processing apparatus 10 according to the fourth embodiment.
- the motion vector detection unit 11 detects a motion vector amount for each block (S204), the histogram creation unit 12 creates a motion vector amount histogram for each predetermined region (S206), and a compensation strength determination unit. 13 determines the motion compensation strength (S208). Note that these processes are the same as the processes (S104 to S108) described in FIG. 2, and thus detailed description thereof is omitted.
- the compensation strength determination unit 13 further acquires the degree of scrolling or telop (S210).
- the degree of scrolling or telop is, for example, an overall scrolling degree indicating the possibility that the moving image is scrolled on the entire screen, an area scrolling degree indicating the possibility that the moving image is scrolled for each predetermined area, or This is the telop degree indicating the possibility that the telop moves and is displayed on the moving image for each predetermined area.
- the compensation strength determination unit 13 may acquire the degree of scrolling or telop in any way, but in this case, acquires it from an external processing unit.
- the compensation strength determination unit 13 logically determines the motion compensation strength determined using the histogram based on the frame rate before and after the frame rate is converted, as the acquired degree of scrolling or telop is larger.
- the motion compensation strength is newly determined by changing the motion compensation strength so as to approach the value (S212).
- FIG. 13A and FIG. 13B are diagrams illustrating a process in which the compensation strength determination unit 13 in the fourth embodiment newly determines the motion compensation strength.
- the compensation strength determination unit 13 determines the interpolation phase determined using the histogram as the motion compensation strength. Further, when the degree of scrolling or telop is “large”, the compensation strength determination unit 13 determines the normal phase as the motion compensation strength.
- the compensation strength determination unit 13 determines an intermediate phase between the interpolation phase and the normal phase determined using the histogram, Determined as motion compensation intensity.
- the degree of scrolling or telop is not limited to three levels, large, medium, and small, and the motion compensation intensity may be determined in four or more levels.
- FIG. 13B is a diagram illustrating a process in which the compensation strength determination unit 13 newly determines the motion compensation strength when the degree of scrolling or telop is multistage.
- the compensation strength determination unit 13 determines the motion compensation strength so that the higher the scroll or telop level, the closer to the normal phase from the interpolation phase determined using the histogram.
- the motion compensation strength is smaller than the normal phase value without determining the motion compensation strength as the normal phase value.
- the value may be determined.
- the compensation strength determination unit 13 logically determines the determined motion compensation strength based on the frame rate before and after the frame rate is converted as the region scrolling degree increases for each predetermined region.
- the motion compensation strength is newly determined by changing the value so as to approach the value of the motion compensation strength.
- the compensation strength determination unit 13 logically determines the determined motion compensation strength based on the frame rate before and after the frame rate is converted as the telop degree increases for each predetermined region.
- the motion compensation intensity is newly determined by changing so as to approach the value of.
- the compensation strength determination unit 13 logically calculates all motion compensation strengths in the interpolated image determined using the histogram based on the frame rates before and after the frame rate is converted, as the overall scroll degree is larger.
- the motion compensation strength is newly determined by changing so as to approach the determined motion compensation strength value.
- the interpolation image generation unit 14 generates an interpolation image corresponding to the motion compensation intensity determined by the compensation intensity determination unit 13 for each predetermined region (S214).
- the compensation strength determination unit 13 determines the motion compensation strength by acquiring the overall scroll degree, the area scroll degree, or the telop degree. However, the compensation strength determination unit 13 acquires two or all of the overall scrolling degree, the area scrolling degree, and the telop degree, and determines the motion compensation intensity according to the acquired degree information. Also good.
- the compensation strength determination unit 13 determines the motion compensation strength according to the region scroll degree when the region scroll degree and the telop degree are acquired, and further changes the determined motion compensation strength according to the telop degree. A new motion compensation strength may be determined.
- the compensation strength determining unit 13 determines the motion compensation strength according to the overall scroll degree when the overall scroll degree, the area scroll degree, and the telop degree are acquired, and further changes the motion compensation intensity according to the area scroll degree. Then, the motion compensation strength may be newly determined, and the motion compensation strength may be changed according to the telop degree to newly determine the motion compensation strength.
- the new motion compensation strength is determined so as to approach the normal interpolation image logically determined in the frame rate conversion process. . Further, the higher the possibility that the moving image is scrolled in the predetermined area, the new motion compensation strength is determined so that the moving image approaches the normal interpolation image in the predetermined area. In addition, the higher the possibility that a telop is flowing in a moving image in a predetermined region, the new motion compensation strength is determined so as to approach the normal interpolation image in the predetermined region.
- the interpolation image can be adaptively generated according to the feature of the moving image, and the error reduction and smoothness of the interpolation image after the frame rate conversion can be compatible with a simple configuration.
- both the error reduction and the smoothness and smoothness can be achieved by adaptively controlling the interpolation phase according to the screen characteristics. It has a special effect that it can be realized. Interpolated image data can be generated according to the screen characteristics, and the display power of the display can be greatly increased.
- the present invention can be realized not only as such an image processing apparatus 10 but also as an image processing method using characteristic processing included in the image processing apparatus 10 as a step, or performing such characteristic steps. It can also be realized as a program executed by a computer. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
- the present invention is realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of the image processing apparatus 10, or an image processing apparatus such as a digital television provided with such an image processing apparatus 10. It can also be realized as. Specifically, it can be realized as an integrated circuit including all the components shown in FIG. 1 or FIG.
- LSI semiconductor integrated circuit
- the integrated circuit may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
- circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
- An FPGA Field Programmable Gate Array
- reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- the image processing apparatus 10 has been described based on the embodiment, but the present invention is not limited to this embodiment. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
- the moving image is configured in units of frames.
- the moving image may be configured in field units.
- the motion vector amount is a value indicating the magnitude and direction of the motion vector.
- the motion vector amount may be a value indicating only the magnitude of the motion vector, or may be a value indicating only the direction of the motion vector. Even in this case, the same effect as the above-described embodiment can be obtained by creating a histogram of the motion vector amount.
- the image processing apparatus is useful as an image processing apparatus that creates an interpolation image that can achieve both error reduction and smoothness of an interpolation image after frame rate conversion with a simple configuration.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Television Systems (AREA)
Abstract
簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置を提供する。 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する画像処理装置(10)であって、原画像を複数のブロックに分割して、ブロックごとに、2枚の原画像間での動きベクトル量を検出する動きベクトル検出部(11)と、複数のブロックからなる所定の領域ごとに、検出された複数の動きベクトル量に基づいて、原画像と補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部(13)と、所定の領域ごとに、決定された動き補償強度に応じた補間画像を生成する補間画像生成部(14)とを備える。
Description
本発明は、動画像のフレームレートを変換するフレームレート変換を行う画像処理装置及び画像処理方法に関するものである。
従来、120Hzの動画像を表示する表示装置では、60Hzの動画像をそのまま表示することはできないため、60Hzの動画像を120Hzの動画像に変換するフレームレート変換処理を行う。このフレームレート変換処理は、60Hzの動画像の2フレームの画像から、当該2フレームの中間の補間画像を作成する処理である。具体的には、このフレームレート変換処理は、60Hzの動画像の2枚のフレームから、任意のブロックサイズで動きベクトルを算出し、この動きベクトルを用いて当該2枚のフレームの間の中間フレームを作成するものである。
しかしながら、画面上で複数の物体がそれぞれ別の方向に移動している場合には、生成した補間画像が破たんする場合がある。
この補間画像の破綻は、物体の境界付近での動きベクトルの検出エラー、又は高速で移動する物体の動きベクトルの検出エラーなど、いくつかの動きベクトルの検出エラーが表面化したものである。このため、この補間画像のエラーを抑制するための方法として、エラーが生ずる場合には、フレームレート変換処理において論理的に決定される正規の補間画像ではなく、原画像に近い補間画像を作成する方法が提案されている(例えば、特許文献1参照)。
しかしながら、従来の補間画像のエラーを抑制する方法では、画面全体の補間位相を一括して正規の位相から変化させるものであるために、画面の位置によっては不具合が生じてしまうという問題がある。
つまり、動きベクトルを用いた動き補償処理で、補間位相の制御を行う場合に、画面一律に補間位相を制御すると、画面の位置により補間位相の最適値が異なる。このため、補間画像のエラー低減をしたために滑らかさが失われて、ジャダー(動きの不自然さ)感が増加する箇所が発生する。
そこで、本発明は、このような問題に鑑みてなされたものであり、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置及び画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部とを備える。
これによれば、所定の領域ごとに、動きベクトル量に基づいて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、さらに、前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する。
これによれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する。
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
これらによれば、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する。
また、前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成することにしてもよい。
これらによれば、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する。
これによれば、連続する動き補償強度が連続的に変化するように動き補償強度を決定する。このため、滑らかな補間画像を生成することができる。
また、好ましくは、前記補償強度決定部は、さらに、前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD-ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。
本発明に係る画像処理装置によれば、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、以下の実施の形態は、ハードウェアやソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
(実施の形態1)
以下に、本発明の一実施の形態について、図1を用いて説明する。
以下に、本発明の一実施の形態について、図1を用いて説明する。
図1は、本実施の形態1における画像処理装置10の機能構成を示すブロック図である。
画像処理装置10は、入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する装置である。同図に示すように、画像処理装置10は、動きベクトル検出部11、ヒストグラム作成部12、補償強度決定部13、及び補間画像生成部14を備えている。
動きベクトル検出部11は、原画像を複数のブロックに分割して、当該ブロックごとに、入力される動画像に含まれる時間的に前後する2枚の原画像間での動きベクトルを検出する。このブロックとは、例えばマクロブロックである。
そして、動きベクトル検出部11は、当該動きベクトルの動きベクトル量を検出する。ここで、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値である。つまり、動きベクトルの大きさが異なると、動きベクトル量の値も異なり、また、動きベクトルの向きが異なると、動きベクトル量の値も異なる。
ヒストグラム作成部12は、複数のブロックからなる所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量のヒストグラムを作成する。
補償強度決定部13は、所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量に基づいて、入力された原画像と補間画像との一致度合いを示す動き補償強度を決定する。具体的には、補償強度決定部13は、ヒストグラム作成部12が作成したヒストグラムを用いて、当該動き補償強度を決定する。
補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する。具体的には、補間画像生成部14は、所定の領域ごとに、動きベクトル検出部11が検出した2枚の原画像間での動きベクトルと、補償強度決定部13が決定した動き補償強度で示される原画像と補間画像との一致度合いとを用いて、2枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、補間画像を生成する。
次に、画像処理装置10が補間画像を生成する処理について、説明する。
図2は、本実施の形態1における画像処理装置10の動作の一例を示すフローチャートである。
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理(S104~S110)が繰り返し行われる(ループ1:S102~S112)。
まず、動きベクトル検出部11は、ブロックごとに動きベクトルを検出し、当該動きベクトルの動きベクトル量を検出する(S104)。
ここで、動きベクトルとは、画像の動き状態を表すものであり、この動きベクトルを検出する方法としては、ブロックマッチング法がある。
ブロックマッチング法とは、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域(以下、候補ブロックと呼ぶ)との相関度をそれぞれ評価する。そして、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとする。
なお、上記の探索範囲は、注目ブロックが含まれるフレームに対して、前のフレーム及び後のフレームのうちの1つ以上のフレームにわたる所望の範囲に設定されるものであればよい。
また、相関値は、注目ブロックと候補ブロックとの間で、それぞれに対応する画素同士の差分絶対値の総和、又はそれぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度が大きい程、示す値が小さくなるものであればよい。
そして、ヒストグラム作成部12は、所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量のヒストグラムを作成する(S106)。
次に、補償強度決定部13は、所定の領域ごとに、ヒストグラム作成部12が作成したヒストグラムを用いて、動き補償強度を決定する(S108)。
そして、補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する(S110)。
以上により、画像処理装置10が補間画像を生成する処理は、終了する。
次に、所定の領域ごとに、ヒストグラム作成部12がヒストグラムを作成し、補償強度決定部13が動き補償強度を決定し、補間画像生成部14が補間画像を生成する処理(図2のS106~S110)について、詳細に説明する。
まず、画像処理装置10が補間画像を生成する処理について説明する。
図3は、本実施の形態1における画像処理装置10が補間画像を生成する処理を模式的に示す図である。具体的には、同図は、入力フレームnの画像データあるいは入力フレームn+1の画像データから中間フレームの画像データである補間画像を生成する投影処理を模式的に示した図である。
同図では、入力フレームnと入力フレームn+1のフレームの位相差を1.0とした場合の位相関係を示しており、動きベクトル検出部11が検出した動きベクトルのフレーム間距離が1.0である場合に相当する。
そして、入力フレームnの画像データからの投影処理により補間画像n+Kの画像データを生成するには、動きベクトルに補間位相係数Kmを乗じてゲイン処理を行う。
また、入力フレームn+1の画像データからの投影処理によって補間画像n+Kを生成する場合には、先ほどの入力フレームnから作成する場合とは時間方向が逆になるので、動きベクトルに-(1-Km)を乗じてゲイン処理を行う。なお、入力フレームnと入力フレームn+1のちょうど中間の位相すなわちKm=0.5の場合を正規位相と呼び、以下の説明でも用いる。
正規位相のKm=0.5に対して、たとえばKm=0.4又は0.3での補間画像n+Kを作成した場合の方が、生成される補間画像n+Kの画像データは入力フレームnの成分が強くなる。入力フレームnは補間画像n+Kの画像データの生成前の原画像であるという理由により、このKm=0.4又は0.3での補間位相を、原画寄りの位相と呼び、以下の説明でも用いる。
なお、Km=0.6又は0.7の場合には、生成される補間画像n+Kの画像データは
入力フレームn+1の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
入力フレームn+1の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
補間画像n+Kの画像の壊れに対して、Km=0.5での正規位相よりも原画寄りの補間位相を設定することで、より原画の成分が強くなるため、補間画像n+Kの画像のエラーの低減を行う手段としては有効である。
しかしながら、画面全体で一律に補間位相の補正値を決定すると、不具合が生ずる。
この解決手段として、所定の領域ごとに、ヒストグラム作成部12がヒストグラムを作成し、補償強度決定部13が、ヒストグラム作成部12が作成したヒストグラムの結果に応じて補間位相を変化させて動き補償強度を決定し、補間画像生成部14が補間画像を生成することを、以下説明する。
ヒストグラム作成部12が作成したヒストグラムにより、動き補償強度を決定するわけであるが、本実施の形態1では、この決定の方法として、動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法に関して、説明する。
動画像の動きベクトル量の分布での場合分けを考えると、たとえば横方向あるいは縦方向といった単一の方向に画面全体がスクロールしている場合では、その時の動きベクトル量の分布は画面全体で同一の方向のベクトルを有しているため、すべて同じ値となり、その値に分布が集中した結果が得られる。
これに対して、たとえば背景とは反対方向に物体が移動している場合には、背景の動きを示す値と物体の動きを示す値とに分布が現れることになる。この場合には、分布は二つの範囲に集中することになり、ある値は背景の動きを表し、もう一つの値は物体の動きを表すことになる。
図4A及び図4Bは、本実施の形態1における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
具体的には、図4Aは、単一の方向に動いている場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。また、図4Bは、異なる方向に物体が動いている、あるいは同じ方向でも物体の動く速度が異なる場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の広がりを示している。
そして、これらの図に示す動きベクトル量の分布の広がり幅DWの大小が、補間画像の作成時のエラー出現の目安となる。
つまり、動きベクトルの方向が異なる領域の境界では、動きベクトル検出部11では動きベクトルを完全には検出できず、その結果、実際の動き量とは異なる方向を動きベクトルと検出することで、エラーの一因となっている。
よって、この境界を挟んで隣接する動きベクトルの差が小さい場合に比べて、その差が大きい場合にはエラーの発生確率がさらに高くなることは明らかである。そして、動きベクトル量の分布の幅DWが大きい場合には、この境界での動きベクトルの差が大きくなる可能性がある。
このように、異なる動きベクトルが隣接して存在する場合に、その差に応じて補間位相を制御することは有効であり、その差が大きいほど補間位相を原画に近い値に設定することでエラー低減を図ることができる。
すなわち、図4Aのようなヒストグラムの場合には、補償強度決定部13は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
また、図4Bのように分布の広いヒストグラムの場合には、補償強度決定部13は、補間位相が原画寄りになるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。このようにすることで、エラーの発生確率を低くすることが可能になる。
図5は、本実施の形態1におけるヒストグラムに示された動きベクトル量の分布の幅DWと動き補償強度との関係を示す図である。
同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の広がり幅DWが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、分布の広がり幅DWが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、分布の広がり幅DWが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、分布の広がり幅DWが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
また、この補間位相を制御する方法は、テロップが出ている領域に対しても有効である。たとえば、テロップが画面に対して水平方向に出ている場合に、全体を正規の位相で補間画像を作成してしまうと、テロップの領域は正規位相での補間画像作成により滑らかな動きとすることができるが、テロップでない領域が前述のように、動きが異なる物体がすれ違う画像であった場合には、当然エラーが発生することになる。
このとき、領域ごとに補間位相を変えることでこのエラー発生が低減できる。つまり、テロップの領域でない箇所は、画像の特徴に応じて補間位相を決定するようにし、テロップと判断した領域は正規位相で画像を作成する。これにより、画面全体で補間位相を処理していた場合にはスクロールの文字がゆがんだりして見づらくなる場合が生じていた不具合を、減少させることが可能となる。
このように、画面単位すなわちフレーム単位で補間位相を変える場合と比較して、領域ごとに補間位相を制御することで画面の各領域に応じた画像データを作成することができ、画質が向上することは明らかである。
また、スクロールに関しては既に説明しているが、画面が部分的にスクロールしている画像に対しても同様に画質が向上することは言うまでもない。
繰り返しの説明になるが、全体がスクロールしている画像では問題はないが、たとえば、画面の上半分はスクロールをしているが下半分は異なる動きをしている場合を考える。このとき、上半分のスクロールをしている領域は、正規の位相を設定することで滑らかな動きとなるが、下半分に関してはスクロールとは異なり、複数の方向に物体が動いている場合であって、上半分と同じく正規の位相を設定した場合には、エラーが発生する可能性が高くなる。
したがって、この場合は、前述のように動きベクトルから作成したヒストグラムの特徴に応じて、補間位相を設定すればよい。
このように、画面全体に対して補間位相を決定するのではなく、各々の領域に対して補間位相を決定する手法は、画面が部分的にスクロールしている画像に対しても有効である。
以上までは、ヒストグラムを作成する所定の領域に関して特に規定することなく説明を行ったが、特に、ライン単位ヒストグラムを作成することが、とりわけ効果がある。
具体的には、ヒストグラム作成部12は、画像の水平方向であるライン方向に連続する複数のブロックからなるライン領域を所定の領域として、ライン領域ごとにヒストグラムを作成する。そして、補償強度決定部13は、ライン領域ごとに動き補償強度を決定し、補間画像生成部14は、ライン領域ごとに補間画像を生成する。
このように、ライン単位でこのヒストグラムを作成し、ライン毎に補間位相を設定するようにすることで、容易に処理回路を構成することができる。例えば、水平方向に流れるテロップに対しては、テロップが流れるラインを的確に検出することができる。このように、画面全体でのヒストグラムを作成した場合と比較し、個々の動きに適応した補間位相の制御ができ、違和感のない効果的な補間位相の制御ができる。
また、水平方向のライン単位ではなく、垂直方向のカラム単位で実施することも、動画像によっては有効である。たとえば、垂直方向にテロップが流れている場合などである。
具体的には、ヒストグラム作成部12は、画像の垂直方向であるカラム方向に連続する複数のブロックからなるカラム領域を所定の領域として、カラム領域ごとにヒストグラムを作成する。そして、補償強度決定部13は、カラム領域ごとに動き補償強度を決定し、補間画像生成部14は、カラム領域ごとに補間画像を生成することにしてもよい。
テロップはその動き量が一定であることが多いため、水平方向あるいは垂直方向に流れているテロップについては、ライン方向あるいはカラム方向のヒストグラムを作成すれば、テロップ部とテロップでない部分との判別が容易である。このため、テロップと判定したラインあるいはカラムにおいては正規の位相を設定して画像を作成することにより、テロップ部の滑らかな動きを得ることができる。
このように、ライン単位あるいはカラム単位でのヒストグラムを作成し、これを基に補間位相を制御して動き補償強度を決定することで、動画像の特徴に応じた補間画像の作成が可能になる。
なお、ライン方向にヒストグラムを作成して、その分布により補間位相を制御する場合、隣接する、すなわち、上もしくは下のラインとの補間位相が大きく異なる場合には、段差が生ずるような見え方となってしまう可能性が高い。
このため、隣接するラインでは補間位相が大きく異ならないように、フィルタをかけて、ライン方向の補間位相の変化がなだらかになるように設定することが有効である。これは、カラム方向でも同様である。
図6は、本実施の形態1における補償強度決定部13が行うフィルタ処理の一例を説明する図である。
補償強度決定部13は、隣接する所定の領域間での動き補償強度が連続的に変化するように、動き補償強度を決定する。
具体的には、同図に示すように、中心の領域での動き補償強度が例えば「0.4」で、その領域に隣接する上下左右の領域での動き補償強度が「0」の場合、補償強度決定部13は、フィルタ処理を行い、中心の領域での動き補償強度を「0.2」に変更し、また、その領域に隣接する上下左右の領域での動き補償強度を「0.1」に変更する。
このように、補償強度決定部13は、動き補償強度が連続的に変化するように、決定した動き補償強度を変更する。
また、以上の説明は、60Hzの動画像を変換して120Hzの動画像を表示する表示装置に関して述べてきたが、たとえば、24Hzの動画像を変換して120Hzの動画像を表示する表示装置に関しても同様である。24Hzの動画像を変換して120Hzの動画像を表示する表示装置で表示させるには、2フレームから新たに4枚の補間画像を生成する。
図7は、本実施の形態1における24Hzから120Hzに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
同図に示すように、補間画像の正規位相は、補間位相の位置で言うと、補間位相係数Km=0.2,0.4,0.6,0.8の4つの位置に相当する。つまり、入力フレームnと入力フレームn+1との間に、補間画像1~4の4枚のフレームが生成される。
ここで、正規位相がKm=0.2の補間画像1の場合には、Kmの値が小さくなるほど、入力フレームnの原画像と補間画像1との一致度合いが大きくなるため、補償強度決定部13は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Kmの値が小さくなるように、動き補償強度を決定する。
また、正規位相がKm=0.8の補間画像4の場合には、Kmの値が大きくなるほど、入力フレームn+1の原画像と補間画像4との一致度合いが大きくなるため、補償強度決定部13は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Kmの値が大きくなるように、動き補償強度を決定する。
なお、補償強度決定部13が動き補償強度を決定する方法は、上記の方法に限定されず、例えば、補間画像1を入力フレームn+1に近づけるように、動き補償強度を決定することにしてもよい。
なお、2フレームから1枚の補間画像を作成する60Hzの動画像の場合に対して、2フレームから4枚の補間画像を作成する24Hzの動画像は、検出したベクトルの信頼性が低い場合には、エラーによる画像の壊れ、破たんが大きくなってしまう。
このため、60Hzの動画像に対し、24Hzであるシネマの動画像は原画に近い位相を設定する傾向を強くしておくことで、画像の破たんを抑制することができる。
以上により、本実施の形態1における画像処理装置10によれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。
また、連続する動き補償強度が連続的に変化するように動き補償強度を決定するため、滑らかな補間画像を生成することができる。
(実施の形態2)
上記実施の形態1では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態2では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
上記実施の形態1では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態2では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
動画像の場合では、画面全体がスクロールしている場合では前述のように動きベクトルが同一の値を有するために特定の値に集中することで、分布の山の数は一つになる。つまりひと山になるわけである。
これに対し、背景とは反対方向に物体が移動している場合には、背景の動きを示す動きベクトル量と、物体の動きを示す動きベクトル量との2つがピークとして出現するヒストグラムとなる。
図8A及び図8Bは、本実施の形態2における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
具体的には、図8Aは、山が一つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図8Bは、山が二つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の山の数と山の間隔とを示している。
ここで、背景と物体の動きの差に関して述べると、動きの方向が逆の場合はもちろん、同一の方向でも動き量に差がある場合には、分布の山が二つ以上できる。また、移動方向の差が大きい場合には、分布のピークの山の差つまり山の間隔が大きくなる。図8Bに示された間隔Lは、この山の間隔を表している。
なお、山の間隔とは、隣り合う山のピークの位置同士での動きベクトル量の差であり、具体的には、一方の山における動きベクトル量の度数が最大のときの動きベクトル量と、他方の山における動きベクトル量の度数が最大のときの動きベクトル量との差である。
分布のピークがふた山の場合にはこの山の間隔もエラーの発生に関係があり、間隔が大きい場合には、エラーの発生確率も高くなるため、この間隔Lを基準に動き補償強度を決定すればよい。すなわち、間隔Lが大きくなるほど原画寄りの補間位相になるように動き補償強度を決定する。
このように、ヒストグラムの動きベクトル量の分布の山の数に着目する場合、生成されたヒストグラムの結果により、分布の種類には、分布の山が1つである場合、分布の山が二つである場合、分布の山が三つ以上の場合等に分類することができる。また、さらには分布の山が二つの場合において、その山のピークの位置の差が大きい場合と小さい場合等に分類することができる。
具体的には、図8Aに示したように、ヒストグラムの分布によりまず、山の数が一つの場合には画面は同一方向にスクロールしていると判断する。そして、同一方向にスクロールしている場合には、物体と背景がすれ違う等の場面も存在せず、エラーが発生している箇所はないと考えられる。このため、補償強度決定部13は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
また、図8Bに示したように、山の数が2つの場合には背景と物体とは異なる方向に動くと考えられるので、たとえば背景と物体がすれ違う箇所があると考えられる。このため、エラーが発生している可能性があるため、これを抑制するために、補償強度決定部13は、補間位相が原画に近い位相になるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
これにより、画面の中でスクロールをしている箇所と、物体と背景とがすれ違う箇所とが混在している場合でも、スクロールをしている箇所では補間位相を正規の位相に設定し、物体と背景とがすれ違う箇所に対しては、補間位相を原画に近い位相に設定する。これにより、スクロールしている箇所の滑らかさは失うことなく、補間画像のエラーの低減を図ることができる。また、物体と背景とがすれ違う部分のエラーを抑制しても、スクロールをしている部分の滑らかさ、スムースさを失うことがない。
従来、画面全体での補間位相制御では、滑らかさを優先して正規の位相を設定した場合には、エラーで破たんする箇所が発生する場合があり、またエラー低減を優先させて補間位相を原画の近くの位相に設定した場合にはスクロールしている部分の滑らかさが失われる場合があった。しかし、領域ごとに画面の特徴に応じて補間位相を制御することで、画面全体で補間位相を制御する場合には不可能であったエラーの低減と滑らかさの確保ができる。
つまり、領域ごとに補間位相の設定値である動き補償強度を変えることにより、エラーの発生を抑制したい領域と、滑らかさを確保したい領域とを、画面の中で混在させることが可能になる。
次に、動きの方向がさらに三つ以上といった場合には、以下のようにすればよい。
動きの集まりを示している山が三つ以上に増えることになるため、動きを特定することができず、判断が困難になる。このときは、滑らかさとエラーの低減とのうち優先させる項目に応じて、補間位相を決定すればよい。すなわち、滑らかさを優先するのであれば、位相は正規の位相に近づける値に設定し、エラー低減を優先するのであれば、原画に近い位相に設定すればよい。
以下に、補償強度決定部13が動き補償強度を決定する処理について、具体的に説明する。
図9は、本実施の形態2におけるヒストグラムに示された動きベクトル量の分布の山の間隔Lと動き補償強度との関係を示す図である。
分布の山の間隔Lが小さければ、分布の山の数が1つである可能性が高く、分布の山の間隔Lが大きければ、分布の山の数が2つ以上である可能性が高い。そして、分布の山の数が1つの場合には、補間画像を原画像に近づける必要はない。また、分布の山の数が2つの場合には、分布の山の間隔Lが大きいほど、エラーの発生確率が高くなるため、補間画像を原画像に近づける必要がある。
このため、同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の山の間隔Lが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、分布の山の間隔Lが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、分布の山の間隔Lが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、分布の山の間隔Lが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
このようにして、本実施の形態2における画像処理装置10によれば、ヒストグラムの分布の山の数及び山の間隔に応じて、簡単に、動き補償強度を決定することができるため、エラー発生が低減され、かつ、滑らかさが確保された高画質な補間画像を作成することができる。
(実施の形態3)
上記実施の形態1及び2では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態3では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
上記実施の形態1及び2では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態3では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
図10A及び図10Bは、本実施の形態3における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
具体的には、図10Aは、最大値と最小値との差が小さい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図10Bは、最大値と最小値との差が大きい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の最大値と最小値との差Mを示している。
図10Aに示した分布のように、動きベクトル量の最大値と最小値の差Mが小さいということは、動きベクトル量が特定の値に集中しているということである。つまり、この場合の領域の動きとしては、スクロール等の単一の動きであると判断すれば良く、この場合はエラー発生の可能性が低いと考えられる。
このため、補償強度決定部13は、補間位相が正規位相に近い値となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。これにより、滑らかさを確保することができる。
これに対し、図10Bに示したように、動きベクトル量の最大値と最小値の差Mが大きい場合には、動きベクトル量が特定の値に集中しておらず、少なくとも異なる二つの値がある、言い換えれば動きの異なる物体が存在しているということである。
したがって、エラーの発生が生じている可能性があり、この場合にはエラーの低減のために、補償強度決定部13は、補間位相が原画の近くの位相になるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
図11は、本実施の形態3におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Mと動き補償強度との関係を示す図である。
同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の最大値と最小値との差が大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、最大値と最小値との差Mが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、最大値と最小値との差Mが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、最大値と最小値との差Mが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
このように、動きベクトル量の最大値と最小値との差が大きくなるほどエラー発生の可能性が高くなるため、その差が大きくなるに応じて補間位相を原画により近い位相に設定することで、エラー発生の頻度抑制が可能である。
以上により、本実施の形態3における画像処理装置10によれば、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
(実施の形態4)
上記実施の形態1~3では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態4では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
上記実施の形態1~3では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態4では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
これにより、単純なスクロールやテロップの箇所は、正規位相に近い動き補償強度を設定することで、滑らかなスクロールやテロップが保たれ、エラーが従来発生していた箇所に関しては、補間位相を原画像に近い所に設定することによって、エラーの低減を図ることができる。
図12は、本実施の形態4における画像処理装置10の動作の一例を示すフローチャートである。
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理(S204~S214)が繰り返し行われる(ループ2:S202~S216)。
まず、動きベクトル検出部11は、ブロックごとに動きベクトル量を検出し(S204)、ヒストグラム作成部12は、所定の領域ごとに、動きベクトル量のヒストグラムを作成し(S206)、補償強度決定部13は、動き補償強度を決定する(S208)。なお、これらの処理は、図2で説明した処理(S104~S108)と同様であるため、詳細な説明については省略する。
次に、補償強度決定部13は、さらに、スクロール又はテロップの度合いを取得する(S210)。このスクロール又はテロップの度合いは、例えば、動画像が画面全体でスクロールしている可能性を示す全体スクロール度合い、所定の領域ごとに動画像がスクロールしている可能性を示す領域スクロール度合い、又は、所定の領域ごとに動画像にテロップが動いて表示されている可能性を示すテロップ度合いである。
ここで、動画像が画面全体でスクロールしている可能性が高いほど、全体スクロール度合いは大きな値となり、所定の領域で動画像がスクロールしている可能性が高いほど、領域スクロール度合いは大きな値となり、また、所定の領域で動画像にテロップが動いて表示されている可能性が高いほど、全体スクロール度合いは大きな値となる。
なお、補償強度決定部13は、スクロール又はテロップの度合いをどのように取得してもよいが、ここでは、外部の処理部から取得する。
そして、補償強度決定部13は、取得したスクロール又はテロップの度合いが大きいほど、ヒストグラムを用いて決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する(S212)。
図13A及び図13Bは、本実施の形態4における補償強度決定部13が動き補償強度を新たに決定する処理を説明する図である。
図13Aに示すように、スクロール又はテロップの度合いが小さい「小」の場合は、補償強度決定部13は、ヒストグラムを用いて決定される補間位相を、動き補償強度として決定する。また、スクロール又はテロップの度合いが大きい「大」の場合は、補償強度決定部13は、正規位相を動き補償強度として決定する。
また、スクロール又はテロップの度合いが「大」と「小」の間の「中」場合は、補償強度決定部13は、ヒストグラムを用いて決定される補間位相と正規位相との中間の位相を、動き補償強度として決定する。
なお、スクロール又はテロップの度合いは、大中小の3段階に限られず、4以上の多段階で動き補償強度を決定してもよい。
図13Bは、スクロール又はテロップの度合いが多段階の場合の、補償強度決定部13が動き補償強度を新たに決定する処理を説明する図である。
同図のグラフAに示すように、補償強度決定部13は、スクロール又はテロップの度合いが大きくなるほど、ヒストグラムを用いて決定される補間位相から正規位相に近付くように、動き補償強度を決定する。
また、同図のグラフBに示すように、スクロール又はテロップの度合いが「大」の場合でも、動き補償強度を正規位相の値に決定せずに、動き補償強度を正規位相の値よりも小さい値に決定することにしてもよい。
以上のように、補償強度決定部13は、所定の領域ごとに、領域スクロール度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
また、補償強度決定部13は、所定の領域ごとに、テロップ度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
また、動画像が画面全体でスクロールしている場合には、補間画像全体を原画像に近づけるように、補間画像内での全ての動き補償強度を変更する。
つまり、補償強度決定部13は、全体スクロール度合いが大きいほど、ヒストグラムを用いて決定した補間画像内での全ての動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
図12に戻り、次に、補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する(S214)。
以上により、本実施の形態4における画像処理装置10が補間画像を生成する処理は、終了する。
なお、本実施の形態4では、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い、又はテロップ度合いを取得して、動き補償強度を決定することとした。しかし、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い、及びテロップ度合いのうちの2つ又は全部を取得して、取得した度合いの情報に応じて、動き補償強度を決定することにしてもよい。
例えば、補償強度決定部13は、領域スクロール度合い及びテロップ度合いを取得した場合、領域スクロール度合いに応じた動き補償強度を決定し、さらに、テロップ度合いに応じて、決定した動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
また、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い及びテロップ度合いを取得した場合、全体スクロール度合いに応じた動き補償強度を決定し、さらに、領域スクロール度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定し、さらに、テロップ度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。
つまり、当原画像に近い補間画像を作成する必要のない領域においては、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
以上説明したように、本実施の形態1~4における画像処理装置10によれば、補間位相を画面の特徴に応じて適応的に制御することで、エラー低減と滑らかさ、スムースさの両立が実現できるという格別の効果を有するものである。画面の特徴に応じた補間画像の画像データの生成が可能となり、ディスプレイの表現力を大幅に高めることができる。
なお、本発明は、このような画像処理装置10として実現できるだけでなく、画像処理装置10に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD-ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像処理装置10の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような画像処理装置10を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。具体的には、図1又は図12に示された全ての構成要素を備える集積回路として実現することができる。
また、集積回路化は個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
以上、本発明に係る画像処理装置10について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、上記実施の形態では、動画像はフレーム単位で構成されていることとした。しかし、動画像はフィールド単位で構成されていることにしてもよい。
また、上記実施の形態では、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値であることとした。しかし、動きベクトル量は、動きベクトルの大きさのみを示す値であってもよいし、動きベクトルの方向のみを示す値であってもよい。この場合でも、動きベクトル量のヒストグラムを作成することで、上記実施の形態と同じ効果が得られる。
本発明に係る画像処理装置は、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる補間画像を作成する画像処理装置として有用である。
10 画像処理装置
11 動きベクトル検出部
12 ヒストグラム作成部
13 補償強度決定部
14 補間画像生成部
11 動きベクトル検出部
12 ヒストグラム作成部
13 補償強度決定部
14 補間画像生成部
Claims (15)
- 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える画像処理装置。 - さらに、
前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、
前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する
請求項1に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する
請求項2~5のいずれか1項に記載の画像処理装置。 - 前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成する
請求項2~5のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する
請求項1~7のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、
前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項2~8のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、
前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項1~9のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、
前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項1~10のいずれか1項に記載の画像処理装置。 - 前記動きベクトル検出部は、前記ブロックごとに、前記2枚の原画像間での動きベクトルを検出し、
前記補間画像生成部は、前記所定の領域ごとに、前記動きベクトル検出部が検出した動きベクトルと、前記補償強度決定部が決定した動き補償強度で示される前記原画像と前記補間画像との一致度合いとを用いて、前記2枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、前記補間画像を生成する
請求項1~11のいずれか1項に記載の画像処理装置。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理方法であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
を含む画像処理方法。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換するためのプログラムであって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
をコンピュータに実行させるプログラム。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置を制御する集積回路であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10834326.0A EP2509306A4 (en) | 2009-12-01 | 2010-03-30 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
JP2011544172A JP5192087B2 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
US13/240,188 US20120008692A1 (en) | 2009-12-01 | 2011-09-22 | Image processing device and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009274011 | 2009-12-01 | ||
JP2009-274011 | 2009-12-01 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/240,188 Continuation US20120008692A1 (en) | 2009-12-01 | 2011-09-22 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011067869A1 true WO2011067869A1 (ja) | 2011-06-09 |
Family
ID=44114733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/002313 WO2011067869A1 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120008692A1 (ja) |
EP (1) | EP2509306A4 (ja) |
JP (1) | JP5192087B2 (ja) |
WO (1) | WO2011067869A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051470A1 (en) * | 2011-08-29 | 2013-02-28 | JVC Kenwood Corporation | Motion compensated frame generating apparatus and method |
JP2013048372A (ja) * | 2011-08-29 | 2013-03-07 | Jvc Kenwood Corp | 動き補償フレーム生成装置及び方法 |
WO2020039956A1 (ja) * | 2018-08-22 | 2020-02-27 | ソニー株式会社 | 表示装置、信号処理装置、及び信号処理方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4933097B2 (ja) | 2003-12-19 | 2012-05-16 | 株式会社メニコン | 糖尿病および糖尿病合併症の治療・改善方法 |
US20230088882A1 (en) * | 2021-09-22 | 2023-03-23 | Samsung Electronics Co., Ltd. | Judder detection for dynamic frame rate conversion |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08223536A (ja) * | 1995-02-08 | 1996-08-30 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
JP2005236937A (ja) * | 2004-01-21 | 2005-09-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2008099281A (ja) * | 2006-10-12 | 2008-04-24 | Thomson Licensing | 動き補償画像の補間方法、及びその方法を実現する装置 |
WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
JP2008236098A (ja) * | 2007-03-19 | 2008-10-02 | Hitachi Ltd | 映像処理装置及び映像表示装置 |
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
JP2009181067A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2009194843A (ja) * | 2008-02-18 | 2009-08-27 | Sony Corp | 映像処理装置、及び映像処理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9214218D0 (en) * | 1992-07-03 | 1992-08-12 | Snell & Wilcox Ltd | Motion compensated video processing |
GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
CN1134991C (zh) * | 1997-07-31 | 2004-01-14 | 日本胜利株式会社 | 数字视频信号块间内插预测编码/解码装置及高效编码方法 |
FR2851397B1 (fr) * | 2003-02-14 | 2005-05-13 | Canon Europa Nv | Procede et dispositif d'analyse de sequences video dans un reseau de communication |
JP5177828B2 (ja) * | 2005-03-25 | 2013-04-10 | 株式会社Jvcケンウッド | 画像レート変換方法及び画像レート変換装置 |
KR100766085B1 (ko) * | 2006-02-28 | 2007-10-11 | 삼성전자주식회사 | 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법 |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP4844370B2 (ja) * | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
WO2008085473A1 (en) * | 2006-12-27 | 2008-07-17 | The Johns Hopkins University | Mri methods using diffusion tensor imaging techniques and mri systems embodying same |
US8437397B2 (en) * | 2007-01-04 | 2013-05-07 | Qualcomm Incorporated | Block information adjustment techniques to reduce artifacts in interpolated video frames |
JPWO2008136116A1 (ja) * | 2007-04-26 | 2010-07-29 | パイオニア株式会社 | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
US8355442B2 (en) * | 2007-11-07 | 2013-01-15 | Broadcom Corporation | Method and system for automatically turning off motion compensation when motion vectors are inaccurate |
-
2010
- 2010-03-30 WO PCT/JP2010/002313 patent/WO2011067869A1/ja active Application Filing
- 2010-03-30 EP EP10834326.0A patent/EP2509306A4/en not_active Withdrawn
- 2010-03-30 JP JP2011544172A patent/JP5192087B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-22 US US13/240,188 patent/US20120008692A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08223536A (ja) * | 1995-02-08 | 1996-08-30 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
JP2005236937A (ja) * | 2004-01-21 | 2005-09-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2008099281A (ja) * | 2006-10-12 | 2008-04-24 | Thomson Licensing | 動き補償画像の補間方法、及びその方法を実現する装置 |
WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
JP2008236098A (ja) * | 2007-03-19 | 2008-10-02 | Hitachi Ltd | 映像処理装置及び映像表示装置 |
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
JP2009181067A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2009194843A (ja) * | 2008-02-18 | 2009-08-27 | Sony Corp | 映像処理装置、及び映像処理方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051470A1 (en) * | 2011-08-29 | 2013-02-28 | JVC Kenwood Corporation | Motion compensated frame generating apparatus and method |
JP2013048372A (ja) * | 2011-08-29 | 2013-03-07 | Jvc Kenwood Corp | 動き補償フレーム生成装置及び方法 |
JP2013048375A (ja) * | 2011-08-29 | 2013-03-07 | Jvc Kenwood Corp | 動き補償フレーム生成装置及び方法 |
WO2020039956A1 (ja) * | 2018-08-22 | 2020-02-27 | ソニー株式会社 | 表示装置、信号処理装置、及び信号処理方法 |
JPWO2020039956A1 (ja) * | 2018-08-22 | 2021-08-10 | ソニーグループ株式会社 | 表示装置、信号処理装置、及び信号処理方法 |
US11930207B2 (en) | 2018-08-22 | 2024-03-12 | Saturn Licensing Llc | Display device, signal processing device, and signal processing method |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011067869A1 (ja) | 2013-04-18 |
EP2509306A1 (en) | 2012-10-10 |
EP2509306A4 (en) | 2013-05-15 |
US20120008692A1 (en) | 2012-01-12 |
JP5192087B2 (ja) | 2013-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768103B2 (en) | Video processing apparatus and video display apparatus | |
CN104469379B (zh) | 生成用于包括在视频序列中的输出帧 | |
JP5107349B2 (ja) | 動きベクトルに基づく画像のスケーリング | |
US7406208B2 (en) | Edge enhancement process and system | |
WO2011067870A1 (ja) | 画像処理装置および画像処理方法 | |
US9001272B2 (en) | Image synthesizing device, coding device, program, and recording medium | |
US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
JP2003526272A (ja) | ビデオ画像のシャープさを改善するシステム及び方法 | |
JP5192087B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
US20100091183A1 (en) | Video conversion apparatus and method, and program | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
US20050270419A1 (en) | Unit for and method of image conversion | |
US20090185756A1 (en) | Image processing device and image processing method | |
US20060078055A1 (en) | Signal processing apparatus and signal processing method | |
US20060181644A1 (en) | Spatial image conversion | |
US8274605B2 (en) | System and method for adjacent field comparison in video processing | |
JP5066041B2 (ja) | 画像信号処理装置、画像信号処理方法 | |
JP2011509455A (ja) | 端指向画像処理 | |
JP2010124257A (ja) | 映像処理装置、映像表示装置、及びフレームレート変換方法 | |
Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
US7750974B2 (en) | System and method for static region detection in video processing | |
JP2014033357A (ja) | 映像信号処理装置及び映像信号処理方法 | |
US20230196507A1 (en) | Device, method and program for processing image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10834326 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2011544172 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010834326 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |