Nothing Special   »   [go: up one dir, main page]

WO2021175054A1 - 图像数据处理方法及相关装置 - Google Patents

图像数据处理方法及相关装置 Download PDF

Info

Publication number
WO2021175054A1
WO2021175054A1 PCT/CN2021/074412 CN2021074412W WO2021175054A1 WO 2021175054 A1 WO2021175054 A1 WO 2021175054A1 CN 2021074412 W CN2021074412 W CN 2021074412W WO 2021175054 A1 WO2021175054 A1 WO 2021175054A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
image data
displayed
image
frame rate
Prior art date
Application number
PCT/CN2021/074412
Other languages
English (en)
French (fr)
Inventor
胡杰
林文真
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2021175054A1 publication Critical patent/WO2021175054A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • This application relates to the technical field of electronic equipment, in particular to an image data processing method and related devices.
  • Motion Estimation & Motion Compensation is an algorithm for implementing video frame insertion.
  • Motion compensation is a method of describing the difference between adjacent frames, specifically, describing how each small block in the previous frame moves Go to a certain position in the current frame. This method is often used by video compression/video codecs to reduce spatial redundancy in video sequences. It can also be used to perform deinterlacing and motion interpolation operations.
  • the advantages of MEMC technology include: elimination of motion jitter, elimination of motion trailing, and diagonal compensation: when the diagonal image information is redisplayed, the stepped contour is eliminated, and the definition is enhanced: the original edge contour definition is restored.
  • the embodiments of the present application provide an image data processing method and related devices, so as to improve the problem of abnormal color blocks in the barrage layer in a video scene where barrage and video coexist.
  • an embodiment of the present application provides an image data processing method, which is applied to an electronic device, the electronic device includes an image data processing module, and the method includes:
  • the image data of the first layer is sent to the image data processing module through the first data channel, and the image data processing module is passed through the The image data processing module performs frame insertion processing on the image data of the first layer to obtain first target data;
  • the image data of the second layer in the first image set to be displayed is sent to the image data processing module through the second data channel, and the image data of the second layer is inserted through the image data processing module Frame processing to obtain second target data, where the second layer is a layer other than the first layer in the preset format in the first image set to be displayed;
  • the first target data and the second target data are combined to obtain a target display image set corresponding to the first image set to be displayed.
  • an embodiment of the present application provides an image data processing device, which is applied to an electronic device, the electronic device includes an image data processing module, and the device includes a processing unit and a communication unit, wherein:
  • the processing unit is configured to detect whether there is a first layer in a preset format in the first to-be-displayed image set of the electronic device;
  • the image data of the first layer is sent to the image data processing module through the first data channel, and the image data processing module is passed through the The image data processing module performs frame insertion processing on the image data of the first layer to obtain first target data;
  • the image data of the second layer in the first image set to be displayed is sent to the image data processing module through the second data channel, and the image data of the second layer is inserted through the image data processing module Frame processing to obtain second target data, where the second layer is a layer other than the first layer in the preset format in the first image set to be displayed;
  • the first target data and the second target data are combined to obtain a target display image set corresponding to the first image set to be displayed.
  • an embodiment of the present application provides an electronic device, including a processor, a memory, a communication interface, and one or more programs.
  • the one or more programs are stored in the memory and configured by The processor executes, and the program includes instructions for executing the steps in the first aspect of the embodiments of the present application.
  • an embodiment of the present application provides a computer storage medium, which is characterized by storing a computer program for electronic data exchange, wherein the computer program causes a computer to execute the method described in the first aspect of the embodiment Part or all of the steps.
  • the embodiments of the present application provide a computer program product, wherein the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to execute as implemented in this application.
  • the computer program product may be a software installation package.
  • the image data of the first layer and the image data of the second layer in the display image set are sent to the image data processing module of the electronic device through the first data channel and the second data channel respectively for frame insertion processing, and finally The first target data and the second target data obtained after the frame insertion processing are merged to obtain the target display image set corresponding to the first image set to be displayed. Because the image data of the first layer and the image data of the second layer are combined The image data is processed by inserting frames separately, so it is helpful to improve the video scene where the bullet screen and the video coexist, the bullet screen layer has the problem of abnormal color blocks.
  • FIG. 1A is a schematic diagram of the hardware structure of an electronic device provided by an embodiment of the present application.
  • FIG. 1B is a schematic diagram of a software system structure of an electronic device provided by an embodiment of the present application.
  • FIG. 2A is a schematic flowchart of an image data processing method provided by an embodiment of the present application.
  • Fig. 2B is a schematic diagram of an example of a video playing interface of an electronic device
  • FIG. 3 is a schematic flowchart of another image data processing method provided by an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • Fig. 5 is a block diagram of functional units of an image data processing device provided by an embodiment of the present application.
  • the electronic devices involved in the embodiments of the application may be electronic devices with communication capabilities.
  • the electronic devices may include various handheld devices with wireless communication functions, vehicle-mounted devices, wearable devices, computing devices, or other devices connected to wireless modems.
  • Processing equipment as well as various forms of user equipment (User Equipment, UE), mobile station (Mobile Station, MS), terminal equipment (terminal device), and so on.
  • UE User Equipment
  • MS Mobile Station
  • terminal device terminal device
  • the existing frame interpolation algorithm on the market directly performs frame interpolation on the entire display output.
  • the barrage is affected by the frame interpolation algorithm, and color block abnormalities will occur.
  • Figure 1A is a schematic diagram of the hardware structure of an electronic device provided by an embodiment of the present application.
  • the electronic device includes a data pipeline (such as a data pipeline VIG specially provided for video YUV data) and a display layer post-processing unit DSPP.
  • Display layer post-processing unit DSPP1 display compressor DSC0, display compressor DSC1, display communication interface DSI0, display communication interface DSI0, image data processing module and display (such as liquid crystal display LCD).
  • the electronic device can implement the image data processing method provided in the embodiments of the present application.
  • the data pipeline, DSPP1, DSC1, and DSI1 belong to the first data Channel
  • data pipeline, DSPP0, DSC0, and DSI0 belong to the second data channel.
  • the data of the two layers are processed through different data channels.
  • DSI1 sends the barrage layer data to the image data processing module, and the video image is sent through DSI0
  • the layer data is sent to the image data processing module, and finally the screen is displayed on the display.
  • FIG. 1B is a schematic diagram of a software system structure of an electronic device provided by an embodiment of the present application.
  • the electronic device includes a video application, a list and front-end strategy module, a SurfaceFlinger module, an HWC module, and a display driver.
  • the video application can provide notifications for opening the bullet screen
  • the list and front-end strategy modules can send down information such as function selection, frame rate detection, layer detection, pop-up detection, power detection, switch control, etc.
  • SurfaceFlinger is a set of management display equipment
  • the service code, HWC is the middleware code that controls the display.
  • the electronic device can implement the image data processing method provided by the embodiment of the present application.
  • a video application includes a video layer and a bullet screen layer.
  • the video application opens the bullet screen, it will send open the bullet screen Notify to the bottom of the system.
  • the SurfaceFlinger module receives the notification to open the barrage, it recognizes whether there is an RGBA8888 layer in the layer.
  • the layers and videos of RGBA8888 are sent to two channels for processing. If there is no layering, all data will be sent directly to one channel for processing.
  • FIG. 2A is a schematic flowchart of an image data processing method provided by an embodiment of the present application. As shown in the figure, the image data processing method includes:
  • Step 201 Detect whether there is a first layer in a preset format in the first to-be-displayed image set of the electronic device;
  • the first set of images to be displayed may be a video to be displayed by the electronic device
  • the first layer of the preset format may be an RGBA8888 layer
  • the display content of the first layer of the preset format may be a video barrage.
  • the video application in the electronic device when the video application in the electronic device opens the barrage, it will send a barrage open notification to the bottom layer of the system.
  • the electronic device After the electronic device receives the bullet screen opening notification sent by the video application at the bottom of the system, it can detect whether there is a first layer in a preset format in the first image collection of the electronic device to be displayed, and if it exists, perform steps 201 and 202 , 203 and 204, if they do not exist, directly send the image data of all layers in the first image set to the image data processing module through the second data channel for frame insertion processing.
  • Step 202 If the first layer in the preset format exists in the first image set to be displayed, send the image data of the first layer to the image data processing module through the first data channel. Performing frame insertion processing on the image data of the first layer by the image data processing module to obtain first target data;
  • Step 203 The image data of the second layer in the first image set to be displayed is sent to the image data processing module through the second data channel, and the image data of the second layer is processed by the image data processing module.
  • the data is subjected to frame insertion processing to obtain the second target data;
  • the second layer is a layer other than the first layer in the preset format in the first image set to be displayed.
  • Step 204 Perform merging processing on the first target data and the second target data to obtain a target display image set corresponding to the first image set to be displayed.
  • the second data channel includes a display layer post-processing unit 0, a display compressor 0, and a display communication interface 0, and the first data channel includes a display post-processing unit 1.
  • the dotted line in Figure 1A represents the image data of the first layer in the preset format, such as the image data of the video bullet screen layer, and the solid line represents the image data of the second layer, such as video. The image data of the screen layer.
  • the image data of the video barrage is sent to the display post-processing unit 1 and the display compressor 1 through the data pipeline, and after normal image data processing operations, it is sent to the image data processing through the display communication interface 1
  • the module performs frame insertion processing, and sends the image data of the video screen to the display post-processing unit 0 and the display compressor 0 through the data pipeline. After normal image data processing operations, it is sent to the image data processing module through the display communication interface 0 for insertion.
  • Frame processing the data flow is shown by the arrow in Figure 1A.
  • the image data of the video barrage and the video screen are inserted into the frame respectively, and after the first target data and the second target data are obtained, the data can be merged through the image data processing module, for example, the video barrage after the frame is inserted Transparency fusion is performed with the video image, and finally an image that is output to the display screen of the electronic device for display after frame insertion processing is obtained, that is, the target display image set corresponding to the first image set to be displayed.
  • the image data of the first layer and the image data of the second layer in the display image set are sent to the image data processing module of the electronic device through the first data channel and the second data channel respectively for frame insertion processing, and finally The first target data and the second target data obtained after the frame insertion processing are merged to obtain the target display image set corresponding to the first image set to be displayed. Because the image data of the first layer and the image data of the second layer are combined The image data is processed by inserting frames separately, so it is helpful to improve the video scene where the bullet screen and the video coexist, the bullet screen layer has the problem of abnormal color blocks.
  • the image data of the first layer is sent to the image data processing module through a first data channel, and the image data of the first layer is processed by the image data processing module.
  • Performing frame insertion processing to obtain first target data includes: sending the image data of the first layer to the image data processing module through a first data channel, and processing the first target data through the image data processing module.
  • the image data of the layer is interpolated at the first interpolated frame rate to obtain the first target data; the image data of the second layer in the first to-be-displayed image set is sent to all through the second data channel
  • the image data processing module performs frame interpolation processing on the image data of the second layer through the image data processing module to obtain second target data, including: adding the second layer in the first image set to be displayed
  • the image data of the image data is sent to the image data processing module through the second data channel, and the image data of the second layer is processed by the image data processing module using the second interpolation frame rate to obtain the second target Data; wherein, the first frame interpolation frame rate is lower than the second frame interpolation frame rate; the higher the frame interpolation frame rate, the higher the frame rate of the image after frame interpolation processing.
  • the frame rate requirements for video screens are generally higher than the frame rate requirements for bullet screens, so different frame insertion frame rates can be used for different screen content.
  • Insert frame processing For example, the display content of the first layer of the preset format is a video barrage, and the display content of the second layer is a video screen.
  • the second interpolated frame rate can be used to process the image data of the video screen, so that the processed image data
  • the video screen is smoother, and the bullet screen uses a second frame rate that is lower than the first frame rate. Since users do not have high requirements for the frame rate of the bullet screen, it will not affect the user’s viewing experience.
  • the frame rate of inserted frame can also reduce system power consumption.
  • the first interpolated frame rate is used to interpolate the image data of the first layer in the preset format
  • the second interpolated frame rate is used to interpolate the image data of the second layer. Processing, and the frame rate of the first interpolated frame is lower than the frame rate of the second interpolated frame, which is beneficial to reduce the power consumption of the system.
  • the first interpolated frame rate is determined by the following operations: determining the moving speed of the object to be displayed in the first layer of the preset format; according to the moving speed of the object to be displayed, And the relationship between the preset moving speed and the frame rate of interpolation determines the first frame rate of interpolation.
  • the relationship between the preset moving speed and the frame rate of insertion can be set according to the relationship that a higher moving speed corresponds to a higher frame rate of insertion.
  • a barrage moving speed of 0 to 0.5 cm per second corresponds to an insertion frame rate of 3 fps
  • a barrage moving speed of 0.5 to 1 cm per second corresponds to an insertion frame rate of 6 fps. It is detected that the barrage movement speed is 0.2 cm per second, and the first interpolated frame rate is 3 fps, and if the barrage movement speed is detected as 0.6 cm per second, the first interpolated frame rate is 6 fps.
  • the movement speed of the object to be displayed in the first layer of the preset format is determined first, and then the movement speed of the object to be displayed is determined according to the relationship between the preset movement speed and the frame rate of the inserted frame.
  • the first frame interpolation frame rate is beneficial to improve the accuracy of determining the frame rate of the first frame interpolation.
  • the second interpolated frame rate is determined by the following operations: determining the maximum screen refresh rate of the electronic device; determining the second interpolated frame rate according to the maximum screen refresh rate, so that The image frame rate processed by using the second interpolated frame rate matches the maximum screen refresh rate.
  • the maximum screen refresh rate of different electronic devices may be different, if the frame rate of the second inserted frame is too low and the processed image frame rate is lower than the screen maximum refresh rate, the best display effect cannot be achieved.
  • the second interpolation frame rate is too high, and the processed image frame rate is higher than the screen maximum refresh rate, which will not achieve a better display effect, resulting in waste of power consumption. Determining the second interpolated frame rate according to the maximum screen refresh rate of different electronic devices is beneficial to obtain a better display effect.
  • the second interpolation frame rate is 5fps, and the image frame rate after the second interpolation frame rate is used. It is 50fps, that is, 50 frames per second, which matches the maximum screen refresh rate of electronic devices refreshing 50 times per second.
  • the maximum screen refresh rate of the electronic device is determined first, and then the second interpolated frame rate is determined according to the maximum screen refresh rate, so that the image frame rate processed by using the second interpolated frame rate and the maximum Matching the screen refresh rate helps to improve the flexibility of determining the frame rate of the second interpolated frame.
  • the method further includes: detecting the remaining power of the electronic device; when the remaining power is lower than a first preset threshold, reducing the first frame insertion frame rate; When the power is lower than the second preset threshold, lower the first interpolated frame rate and the second interpolated frame rate; wherein, the first preset threshold is greater than the second preset threshold.
  • the frame rate of the interpolated frame of the image data can be reduced to compare Reduce the power consumption of the system. Since the user's requirements for the video barrage are lower than the requirements for the video screen, you can first reduce the first frame rate used when inserting the frame of the video barrage, in the case of lower power , To reduce the second frame rate used when inserting frames on the video screen. For example, when the electronic device’s power remains 20%, the first frame rate is reduced, and when the electronic device’s power remains 10%, the second frame rate is reduced. Two-insertion frame rate.
  • the remaining power of the electronic device is detected, when the remaining power is lower than the first preset threshold, the first frame rate is lowered, and when the remaining power is lower than the second preset threshold, the first frame rate is lowered.
  • the frame rate and the second interpolation frame rate are beneficial to reduce system power consumption.
  • the method further includes: detecting whether there is a third layer in a preset format in the second set of images to be displayed of the electronic device; if the second set of images to be displayed exists in the For the third layer of the preset format, it is determined whether the display area of the content to be displayed in the third layer overlaps with the display area of the content to be displayed in the fourth layer of the second image set to be displayed ,
  • the fourth layer is a layer other than the third layer of the preset format in the second to-be-displayed image set; if not, all layers in the second to-be-displayed image set
  • the image data is sent to the image data processing module through the second data channel, and the image data of all layers in the second to-be-displayed image set is interpolated through the image data processing module to obtain all The target display image set corresponding to the second to-be-displayed image set.
  • the display area of the bullet screen can be set during video playback.
  • the display area of the bullet screen can be set to the top area of the display screen or the bottom area of the display screen.
  • the display area of the video in the screen is different under different scenes. It is possible that the display area of the video is only in the middle of the screen, while the top and bottom areas of the screen are not.
  • Video screen so in the video playback scene, the display area of the video and the display area of the barrage may not overlap. As shown in Figure 2B, due to the size of the video screen, the display area of the video screen is the middle of the display screen.
  • the black area of the display screen has no video content
  • the display area of the bullet screen can be set to only the black area at the top of the display screen.
  • the display area of the bullet screen does not overlap with the display area of the video screen, and there is no need to separate at this time. Interpolating frames for different layers can directly send the data of the entire display interface to the image data processing module for interpolating frames.
  • the display area of the content to be displayed in the third layer is similar to the fourth layer. Whether there is an overlap area in the display area of the content to be displayed in the display area, if there is no overlap area, the image data of all layers in the second image set to be displayed is directly sent to the image data processing module for processing through the second data channel. Conducive to reducing system power consumption.
  • the layer type of the first layer in the preset format includes a rolling barrage layer.
  • the position of the scrolling barrage in the display interface will change, while the position of the fixed barrage in the display interface will not occur when the fixed barrage is displayed. Change, so the rolling barrage layer can be interpolated, and the image data of the rolling barrage layer after the interleaving process and the image data of other layers after the interleaving process can be merged. If the preset format is If the layer type of the first layer is a fixed barrage layer, there is no need for frame interpolation, and the image data of the fixed barrage layer can be directly merged with the image data of other layers after frame interpolation.
  • the layer type of the first layer in the preset format includes the rolling barrage layer.
  • the rolling barrage layer is sent to the image data processing module through the first data channel for frame insertion processing, and the fixed bullet
  • the screen layer does not need to be interpolated, which helps reduce system power consumption.
  • FIG. 3 is a schematic flowchart of another image data processing method provided by an embodiment of the present application. As shown in the figure, the image data processing method includes the following step:
  • Step 301 Detect whether there is a first layer in a preset format in the first to-be-displayed image set of the electronic device;
  • Step 302 If the first layer in the preset format exists in the first image set to be displayed, the image data of the first layer is sent to the image data processing module through the first data channel , Performing frame interpolation processing on the image data of the first layer by the image data processing module using the first frame interpolation frame rate to obtain the first target data;
  • Step 303 The image data of the second layer in the first image set to be displayed is sent to the image data processing module through the second data channel, and the image data of the second layer is processed by the image data processing module.
  • the data is subjected to frame interpolation processing using the second frame interpolation frame rate to obtain the second target data;
  • the second layer is a layer other than the first layer of the preset format in the first to-be-displayed image set; the frame rate of the first interpolated frame is lower than that of the second interpolated frame Frame rate; the higher the frame rate of the inserted frame, the higher the frame rate of the image after frame interpolation.
  • Step 304 Perform merging processing on the first target data and the second target data to obtain a target display image set corresponding to the first to-be-displayed image set.
  • the image data of the first layer and the image data of the second layer are sent to the image data processing module of the electronic device through the first data channel and the second data channel, respectively, using the first interpolated frame rate and the second interpolated frame rate respectively.
  • Frame interpolation processing is performed at the frame rate, and finally the first target data and the second target data obtained after the respective interpolation processing are merged to obtain the target display image set corresponding to the first image set to be displayed.
  • the image data of the first layer of the format and the image data of the second layer are processed separately, and the image data of the first layer of the preset format is processed with a relatively low frame rate of the interpolation.
  • the image data of the layer is processed with a relatively high frame insertion frame rate, so it is helpful to improve the video scene where the bullet screen and video coexist. Consumption.
  • FIG. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device 400 includes application processing 410, memory 420, communication interface 430, and one or more programs 421, where the one or more programs 421 are stored in the above-mentioned memory 420 and are configured to be executed by the above-mentioned application processor 410, and the one or more The multiple programs 421 include instructions for executing any step in the foregoing method embodiments.
  • the instructions in the program 421 are used to perform the following operations: detect whether there is a first layer in a preset format in the first to-be-displayed image set of the electronic device; If the first layer in the preset format exists in the display image set, the image data of the first layer is sent to the image data processing module through the first data channel, and the image data processing module is used for all The image data of the first layer is interpolated to obtain the first target data; the image data of the second layer in the first to-be-displayed image set is sent to the image data processing module through the second data channel, The image data processing module performs frame insertion processing on the image data of the second layer to obtain second target data, where the second layer is the first image set to be displayed except for the preset format A layer other than the first layer; the first target data and the second target data are combined to obtain a target display image set corresponding to the first image set to be displayed.
  • the electronic device described in the embodiment of this application first detects whether the first image collection of the electronic device has a first layer in a preset format, and if there is a first layer in the preset format, it will The image data of the first layer and the image data of the second layer in the first to-be-displayed image set are sent to the image data processing module of the electronic device through the first data channel and the second data channel respectively for frame insertion processing Finally, the first target data and the second target data obtained after the frame insertion processing are combined to obtain the target display image set corresponding to the first to-be-displayed image set. Since the image data of the first layer and the second The image data of the two layers are respectively processed for frame interpolation, so it is helpful to improve the video scene where the bullet screen and the video coexist, the bullet screen layer has the problem of abnormal color blocks.
  • the image data of the first layer is sent to the image data processing module through the first data channel, and the image data of the first layer is processed by the image data processing module.
  • the instructions in the program 421 are specifically used to perform the following operations: send the image data of the first layer to the image data processing through the first data channel Module, by using the image data processing module to perform frame interpolation processing on the image data of the first layer using the first frame interpolation frame rate to obtain the first target data; in the collection of the first image to be displayed
  • the image data of the second layer is sent to the image data processing module through the second data channel, and the image data of the second layer is interpolated through the image data processing module to obtain the second target data
  • the instructions in the program 421 are specifically used to perform the following operations: send the image data of the second layer in the first to-be-displayed image set to the image data processing module through the second data channel, and pass the image data
  • the processing module performs frame interpolation processing on the image
  • the program 421 further includes instructions for performing the following operations: determining the moving speed of the object to be displayed in the first layer of the preset format; according to the movement of the object to be displayed The speed, and the relationship between the preset moving speed and the frame rate of the interpolated frame determine the first frame rate of the interpolated frame.
  • the program 421 further includes instructions for performing the following operations: determining the maximum screen refresh rate of the electronic device; determining the second interpolated frame rate according to the maximum screen refresh rate, So that the frame rate of the image processed by using the second frame interpolation frame rate matches the maximum screen refresh rate.
  • the program 421 further includes instructions for performing the following operations: detecting the remaining power of the electronic device; when the remaining power is lower than a first preset threshold, turning down the first Frame rate; when the remaining power is lower than a second preset threshold, lower the first frame rate and the second frame rate; wherein, the first preset threshold is greater than the The second preset threshold.
  • the program 421 further includes instructions for performing the following operations: detecting whether there is a third layer in a preset format in the second to-be-displayed image set of the electronic device; 2. If there is a third layer in the preset format in the image set to be displayed, it is determined that the display area of the content to be displayed in the third layer is different from that in the fourth layer of the second image set to be displayed. Whether there is an overlapping area in the display area of the display content, the fourth layer is a layer other than the third layer of the preset format in the second image set to be displayed; if not, the first layer 2.
  • the image data of all layers in the image set to be displayed is sent to the image data processing module through the second data channel, and the image data of all layers in the second image set to be displayed is processed by the image data processing module.
  • the image data is subjected to frame interpolation processing to obtain the target display image set corresponding to the second to-be-displayed image set.
  • the layer type of the first layer in the preset format includes a rolling barrage layer.
  • an electronic device includes hardware structures and/or software modules corresponding to each function.
  • the present application can be implemented in the form of hardware or a combination of hardware and computer software. Whether a function is executed by hardware or computer software-driven hardware depends on the specific application and design constraints of the technical solution. Professionals and technicians can use different methods for each specific application to implement the described functions, but such implementation should not be considered beyond the scope of this application.
  • the embodiment of the present application may divide the electronic device into functional units according to the foregoing method examples.
  • each functional unit may be divided corresponding to each function, or two or more functions may be integrated into one processing unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit. It should be noted that the division of units in the embodiments of the present application is illustrative, and is only a logical function division, and there may be other division methods in actual implementation.
  • Fig. 5 is a block diagram of functional units of an image data processing device provided by an embodiment of the present application.
  • the image data processing device 500 is applied to an electronic device, the electronic device includes an image data processing module, the electronic device performs image data processing according to an image data processing method, the image data processing device includes a processing unit 501 and a communication unit 502, Wherein, the processing unit 501 is configured to perform any step in the above method embodiment, and when performing data transmission such as sending, the communication unit 502 can be optionally invoked to complete the corresponding operation.
  • the processing unit 501 is configured to perform any step in the above method embodiment, and when performing data transmission such as sending, the communication unit 502 can be optionally invoked to complete the corresponding operation.
  • the processing unit 501 detects whether there is a first layer in a preset format in the first image set to be displayed of the electronic device; if there is a first image in the preset format in the first image set to be displayed Layer, the image data of the first layer is sent to the image data processing module through the first data channel, and the image data of the first layer is interpolated through the image data processing module to obtain The first target data; the image data of the second layer in the first to-be-displayed image set is sent to the image data processing module through the second data channel, and the second layer is processed by the image data processing module Interpolating the image data of the image data to obtain the second target data, and the second layer is a layer other than the first layer of the preset format in the first image set to be displayed; A target data and the second target data are merged to obtain a target display image set corresponding to the first image set to be displayed.
  • the processing unit 501 is specifically configured to send the image data of the first layer to the image data processing module through the first data channel, and pass the image data
  • the processing module performs frame interpolation processing on the image data of the first layer using the first interpolation frame rate to obtain the first target data; in the first layer of image data to be displayed, the image data of the second layer is collected It is sent to the image data processing module through the second data channel, and the image data of the second layer is interpolated through the image data processing module to obtain the second target data.
  • the processing unit 501 specifically uses Therefore, the image data of the second layer in the first image set to be displayed is sent to the image data processing module through the second data channel, and the image data of the second layer is processed by the image data processing module.
  • the processing unit 501 is further configured to determine the moving speed of the object to be displayed in the first layer of the preset format; according to the moving speed of the object to be displayed, and a preset The relationship between the moving speed and the frame rate for inserting frames determines the first frame rate for inserting frames.
  • the processing unit 501 is further configured to determine the maximum screen refresh rate of the electronic device; and determine the second interpolated frame rate according to the maximum screen refresh rate, so that the second interpolated frame rate is used.
  • the frame rate of the image after frame rate processing matches the maximum screen refresh rate.
  • the processing unit 501 is further configured to detect the remaining power of the electronic device; when the remaining power is lower than a first preset threshold, reduce the first frame insertion frame rate; When the remaining power is lower than a second preset threshold, lower the first interpolated frame rate and the second interpolated frame rate; wherein, the first preset threshold is greater than the second preset threshold .
  • the processing unit 501 is further configured to detect whether there is a third layer in a preset format in the second set of images to be displayed of the electronic device; if the second set of images to be displayed is If there is a third layer in the preset format, it is determined whether the display area of the content to be displayed in the third layer is different from the display area of the content to be displayed in the fourth layer of the second image set to be displayed There is an overlapping area, and the fourth layer is a layer other than the third layer in the preset format in the second image set to be displayed; if not, the second image set to be displayed is The image data of all layers is sent to the image data processing module through the second data channel, and the image data of all layers in the second to-be-displayed image set is interpolated through the image data processing module To obtain the target display image set corresponding to the second to-be-displayed image set.
  • the layer type of the first layer in the preset format includes a rolling barrage layer.
  • the image data processing apparatus 500 may further include a storage unit 503 for storing program codes and data of the electronic device.
  • the processing unit 501 may be a processor
  • the communication unit 502 may be a touch screen or a transceiver
  • the storage unit 503 may be a memory.
  • An embodiment of the present application also provides a computer storage medium, wherein the computer storage medium stores a computer program for electronic data exchange, and the computer program enables a computer to execute part or all of the steps of any method as recorded in the above method embodiment ,
  • the above-mentioned computer includes electronic equipment.
  • the embodiments of the present application also provide a computer program product.
  • the above-mentioned computer program product includes a non-transitory computer-readable storage medium storing a computer program. Part or all of the steps of the method.
  • the computer program product may be a software installation package, and the above-mentioned computer includes electronic equipment.
  • the disclosed device may be implemented in other ways.
  • the device embodiments described above are only illustrative, for example, the division of the above-mentioned units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or integrated. To another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical or other forms.
  • the units described above as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the above integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable memory.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a memory.
  • a number of instructions are included to enable a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the foregoing methods of the various embodiments of the present application.
  • the aforementioned memory includes: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other media that can store program codes.
  • the program can be stored in a computer-readable memory, and the memory can include: a flash disk , Read-only memory (English: Read-Only Memory, abbreviation: ROM), random access device (English: Random Access Memory, abbreviation: RAM), magnetic disk or optical disc, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例公开了一种图像数据处理方法及相关装置，方法包括：检测电子设备的第一待显示图像集合中是否存在预设格式的第一图层；若存在，则将第一图层的图像数据通过第一数据通道送往图像数据处理模块，通过图像数据处理模块对第一图层的图像数据进行插帧处理，得到第一目标数据；将第一待显示图像集合中第二图层的图像数据通过第二数据通道送往图像数据处理模块，通过图像数据处理模块对第二图层的图像数据进行插帧处理，得到第二目标数据；对第一目标数据和第二目标数据进行合并处理，得到第一待显示图像集合对应的目标显示图像集合。本申请实施例有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。

Description

图像数据处理方法及相关装置 技术领域
本申请涉及电子设备技术领域，具体涉及一种图像数据处理方法及相关装置。
背景技术
运动估计和运动补偿(Motion Estimation&Motion Compensation，MEMC)是一种视频插帧的实现算法，运动补偿是一种描述相邻帧差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。这种方法经常被视频压缩/视频编解码器用来减少视频序列中的空域冗余。它也可以用来进行去交织(deinterlacing)与以及运动插值(motion interpolation)的操作。MEMC技术的优势包括：消除运动抖动、消除运动拖尾、对角线补偿：重显斜线图像信息时，消除了阶梯状的轮廓、清晰度增强：恢复原汁原味的边际轮廓定义。
发明内容
本申请实施例提供了一种图像数据处理方法及相关装置，以期改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。
第一方面，本申请实施例提供了一种图像数据处理方法，应用于电子设备，所述电子设备包括图像数据处理模块，所述方法包括：
检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；
将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；
对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
第二方面，本申请实施例提供了一种图像数据处理装置，应用于电子设备，所述电子设备包括图像数据处理模块，所述装置包括处理单元和通信单元，其中，
所述处理单元用于，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述 第一图层的图像数据进行插帧处理，得到第一目标数据；
将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；
对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的硬件结构示意图；
图1B是本申请实施例提供的一种电子设备的软件系统结构示意图；
图2A是本申请实施例提供的一种图像数据处理方法的流程示意图；
图2B是一种电子设备视频播放界面示例示意图；
图3是本申请实施例提供的另一种图像数据处理方法的流程示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的一种图像数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
目前，市场上现存的插帧算法，是直接对整个显示输出做插帧，当显示输出中同时存在弹幕和视频时，弹幕受到插帧算法的影响，会出现色块异常。
针对上述问题，本申请实施例提供一种图像数据处理方法和相关产品，下面结合附图对本申请实施例进行详细介绍。
请参阅图1A，图1A是本申请实施例所提供的电子设备的硬件结构示意图，所述电子设备包括数据管道(如专为视频YUV数据提供的数据管道VIG)、显示图层后处理单元DSPP0、显示图层后处理单元DSPP1、显示压缩器DSC0、显示压缩器DSC1、显示通信接口DSI0、显示通信接口DSI0、图像数据处理模块和显示器(如液晶显示器LCD)。基于上述结构，所述电子设备能实现本申请实施例提供的图像数据处理方法，针对视频应用中弹幕图层数据和视频图层数据的处理，数据管道、DSPP1、DSC1和DSI1属于第一数据通道，数据管道、DSPP0、DSC0和DSI0属于第二数据通道，分别将两图层的数据通过不同的数据通道进行处理，DSI1将弹幕图层数据送往图像数据处理模块，通过DSI0将视频图层数据送往图像数据处理模块，最终通过显示器完成画面显示。
请参阅图1B，图1B是本申请实施例所提供的电子设备的软件系统结构示意图，所述电子设备包括视频应用、名单和前端策略模块、SurfaceFlinger模块、HWC模块和显示驱动Display Driver。其中，视频应用可提供打开弹幕通知，名单和前端策略模块可向下传送 功能选择、帧率检测、分层检测、弹框检测、电量检测、开关控制等信息，SurfaceFlinger是一套管理显示设备的服务代码，HWC是控制显示的中间件代码。基于上述结构，所述电子设备能实现本申请实施例提供的图像数据处理方法，举例来说，视频应用中包括视频图层和弹幕图层，视频应用打开弹幕时，将发送打开弹幕通知到系统底层，在SurfaceFlinger模块接收到该打开弹幕通知后，识别图层中是否存在RGBA8888的图层，若存在RGBA8888的图层，可通过HWC模块控制对图层分层进行处理，分别将RGBA8888的图层和视频送往两路进行处理，若不存在分层，则直接将所有数据送往一路进行处理。
请参阅图2A，图2A是本申请实施例提供的一种图像数据处理方法的流程示意图，如图所示，本图像数据处理方法包括：
步骤201，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
其中，第一待显示图像集合可以是电子设备待显示的视频，预设格式的第一图层可以是RGBA8888图层，预设格式的第一图层的显示内容可以是视频弹幕。
具体实现中，电子设备中的视频应用打开弹幕时，会发送弹幕打开通知到系统底层。电子设备可以在系统底层接收到视频应用发送的弹幕打开通知后，再检测电子设备的第一待显示图像集合中是否存在预设格式的第一图层，如果存在，则执行步骤201、202、203和204，如果不存在，则直接将该第一图像集所有图层的图像数据通过第二数据通道送往图像数据处理模块进行插帧处理。
步骤202，若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；
步骤203，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据；
其中，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层。
步骤204，对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
举例来说，请参见图1A，在步骤202、203和204中，第二数据通道包括显示图层后处理单元0、显示压缩器0和显示通信接口0，第一数据通道包括显示后处理单元1、显示压缩器1和显示通信接口1，图1A中虚线表示预设格式的第一图层的图像数据例如视频弹幕图层的图像数据，实线表示第二图层的图像数据例如视频画面图层的图像数据。
以预设格式的第一图层中待显示内容为视频弹幕、第二图层待显示内容为视频画面为例，在检测到第一待显示图像集合中存在预设格式的第一图层即视频弹幕图层后，将视频弹幕的图像数据通过数据管道送到显示后处理单元1和显示压缩器1，进行常规的图像数据处理操作后，通过显示通信接口1送往图像数据处理模块进行插帧处理，将视频画面的图像数据通过数据管道送到显示后处理单元0和显示压缩器0，进行常规的图像数据处理 操作后，通过显示通信接口0送往图像数据处理模块进行插帧处理，数据流向如图1A中箭头所示。
分别对视频弹幕和视频画面的图像数据进行插帧处理，得到第一目标数据和第二目标数据后，可以通过该图像数据处理模块将数据进行合并处理，例如将插帧后的视频弹幕和视频画面进行透明度融合，最终得到插帧处理后输出给电子设备的显示屏进行显示的图像，即第一待显示图像集合对应的目标显示图像集合。
可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。
在一个可能的示例中，所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据，包括：将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，包括：将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
具体实现中，考虑到用户对于不同的显示内容的要求不同，例如对于视频画面的帧率要求一般高于对弹幕的帧率要求，故可以针对不同的画面内容采用不同的插帧帧率进行插帧处理。例如，预设格式的第一图层的显示内容是视频弹幕，第二图层的显示内容是视频画面，可以采用第二插帧帧率对视频画面的图像数据做处理，以使得处理后的视频画面更加流畅，而弹幕采用低于第一插帧帧率的第二插帧帧率处理，由于用户对弹幕帧率要求不高，故不会影响用户的观看体验，采用较低的插帧帧率还可以减少系统功耗。
可见，本示例中，采用第一插帧帧率对预设格式的第一图层的图像数据进行插帧处理，采用第二插帧帧率对所述第二图层的图像数据进行插帧处理，且第一插帧帧率低于第二插帧帧率，有利于减少系统功耗。
在一个可能的示例中，所述第一插帧帧率通过如下操作确定：确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。
具体实现中，预设的移动速度与插帧帧率的关系可以根据移动速度越高对应的插帧帧率越高的关系进行设置。以视频弹幕为例，例如，0～0.5厘米每秒的弹幕移动速度对应的插帧帧率为3fps，0.5～1厘米每秒的弹幕移动速度对应的插帧帧率为6fps，若检测到弹幕移动速度为0.2厘米每秒，则第一插帧帧率为3fps，若检测到弹幕移动速度为0.6厘米每秒，则第一插帧帧率为6fps。
可见，本示例中，先确定预设格式的第一图层中的待显示对象的移动速度，再根据该待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率，有利于提高第一插帧帧率确定的准确性。
在一个可能的示例中，所述第二插帧帧率通过如下操作确定：确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。
具体实现中，考虑到不同电子设备的最大屏幕刷新率可能存在不同，若第二插帧帧率过低，处理后的图像帧率低于屏幕最大刷新率，则无法达到最佳显示效果，若第二插帧帧率过高，处理后的图像帧率高于屏幕最大刷新率，并不会达到更佳的显示效果，造成了功耗的浪费。根据不同的电子设备的最大屏幕刷新率确定第二插帧帧率，有利于得到更佳的显示效果。以电子设备的最大屏幕刷新率为50hz、插帧处理前的图像帧率为45fps为例，此时可以确定第二插帧帧率为5fps，采用第二插帧帧率处理后的图像帧率为50fps，即每秒50帧图像，与电子设备每秒刷新50次的最大屏幕刷新率相匹配。
可见，本示例中，先确定电子设备的最大屏幕刷新率，再根据该最大屏幕刷新率确定第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配，有利于提高第二插帧帧率确定的灵活性。
在一个可能的示例中，所述方法还包括：检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。
具体实现中，考虑到插帧帧率越高，系统的功耗就越高的问题，在电子设备的电量较低的时候，可以降低对图像数据进行插帧处理的插帧帧率，以较少系统的功耗，由于用户对于视频弹幕的要求低于对视频画面的要求，可以首先降低对视频弹幕进行插帧处理时采用的第一插帧帧率，在电量更低的情况下，才降低对视频画面进行插帧处理时采用的第二插帧帧率，例如在电子设备电量剩余20％时，降低第一插帧帧率，在电子设备电量剩余10％时，再降低第二插帧帧率。
可见，本示例中，检测电子设备剩余电量，在剩余电量低于第一预设阈值时，调低第一插帧帧率，在剩余电量低于第二预设阈值时，调低第一插帧帧率和第二插帧帧率，有利于减少系统功耗。
在一个可能的示例中，所述方法还包括：检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图 层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。
具体实现中，视频播放时可以对弹幕的显示区域进行设置，例如可以设置弹幕的显示区域为显示屏的顶部区域或者是显示屏的底部区域，同时由于视频的画面尺寸的不同，或者由于相同的视频画面尺寸在不同显示屏上显示等原因，不同场景下视频在显示屏中的显示区域存在不同，可能视频的显示区域只在显示屏的中部，而显示屏的顶部和底部区域则无视频画面，故视频播放场景中，可能存在视频的显示区域与弹幕的显示区域并不重合的情况，如图2B所示，由于视频画面的尺寸问题，视频画面的显示区域为显示屏的中部区域，显示屏中黑色区域无视频画面内容，而弹幕的显示区域经设置可只为显示屏上方的黑色区域，弹幕显示区域与视频画面的显示区域并不存在重合，此时则无需分别对不同图层进行插帧处理，可直接将整个显示界面的数据送往图像数据处理模块进行插帧处理。
可见，本示例中，在检测到电子设备的第二待显示图像集合中存在预设格式的第三图层后，再判断该第三图层中待显示内容的显示区域，与第四图层中待显示内容的显示区域是否存在重合区域，如果不存在重合区域，则直接将该第二待显示图像集合中所有图层的图像数据通过第二数据通道送往图像数据处理模块进行处理，有利于减少系统功耗。
在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。
具体实现中，考虑到弹幕的类型包括固定弹幕和滚动弹幕，滚动弹幕在显示界面中的位置会发生改变，而固定弹幕在显示时，在显示界面中的位置并不会发生改变，故可对滚动弹幕图层做插帧处理，将插帧处理后的滚动弹幕图层的图像数据与插帧处理后的其他图层的图像数据进行合并处理，若预设格式的第一图层的图层类型为固定弹幕图层，则无插帧处理的必要，可直接将固定弹幕图层的图像数据与插帧处理后的其他图层的图像数据进行合并处理。
可见，本示例中，预设格式的第一图层的图层类型包括滚动弹幕图层，将滚动弹幕图层通过第一数据通道送往图像数据处理模块进行插帧处理，而固定弹幕图层则无需进行插帧处理，有利于减少系统功耗。
与上述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的另一种图像数据处理方法的流程示意图，如图所示，所述图像数据处理方法包括以下步骤：
步骤301，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
步骤302，若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；
步骤303，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往 所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；
其中，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
步骤304，对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层则将该第一图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道送往该电子设备的图像数据处理模块，分别采用第一插帧帧率和第二插帧帧率进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将预设格式的第一图层的图像数据和第二图层的图像数据分别进行插帧处理，且预设格式的第一图层的图像数据采用相对较低的插帧帧率进行处理，第二图层的图像数据采用相对较高的插帧帧率进行处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题，减少系统用于插帧处理的功耗。
与上图2A、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的示例中，所述程序421中的指令用于执行以下操作：检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
可以看出，本申请实施例所描述的电子设备，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利 于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。
在一个可能的示例中，在所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据方面，所述程序421中的指令具体用于执行以下操作：将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；在所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据方面，所述程序421中的指令具体用于执行以下操作：将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。
在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。
在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。
在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。
在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述各个步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱 动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例提供的一种图像数据处理装置的功能单元组成框图。该图像数据处理装置500应用于电子设备，所述电子设备包括图像数据处理模块，所述电子设备根据图像数据处理方法进行图像数据处理，所述图像数据处理装置包括处理单元501和通信单元502，其中，所述处理单元501，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。
所述处理单元501，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
在一个可能的示例中，在将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据方面，所述处理单元501具体用于，将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；在所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据方面，所述处理单元501具体用于，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
在一个可能的示例中，所述处理单元501还用于，确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧 率的关系确定所述第一插帧帧率。
在一个可能的示例中，所述处理单元501还用于，确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。
在一个可能的示例中，所述处理单元501还用于，检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。
在一个可能的示例中，所述处理单元501还用于，检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。
在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。
其中，所述图像数据处理装置500还可以包括存储单元503，用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器，所述通信单元502可以是触控显示屏或者收发器，存储单元503可以是存储器。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种图像数据处理方法，其特征在于，应用于电子设备，所述电子设备包括图像数据处理模块，所述方法包括：
    检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
    若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；
    将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；
    对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据，包括：
    将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；
    所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，包括：
    将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；
    其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
  3. 根据权利要求2所述的方法，其特征在于，所述第一插帧帧率通过如下操作确定：
    确定所述预设格式的第一图层中的待显示对象的移动速度；
    根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。
  4. 根据权利要求3所述的方法，其特征在于，所述预设的移动速度与插帧帧率的关系中，所述移动速度的数值与所述插帧帧率的数值成正向关联关系。
  5. 根据权利要求2所述的方法，其特征在于，所述第二插帧帧率通过如下操作确定：
    确定所述电子设备的最大屏幕刷新率；
    根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的 图像帧率与所述最大屏幕刷新率相匹配。
  6. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    检测所述电子设备剩余电量；
    在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；
    在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；
    其中，所述第一预设阈值大于所述第二预设阈值。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
    检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；
    若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；
    若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。
  8. 根据权利要求7所述的方法，其特征在于，所述弹幕的显示区域包括显示屏的顶部区域或者所述显示屏的底部区域。
  9. 根据权利要求8所述的方法，其特征在于，所述预设格式的第一图层的图层类型包括滚动弹幕图层。
  10. 一种图像数据处理装置，其特征在于，应用于电子设备，所述电子设备包括图像数据处理模块，所述装置包括处理单元和通信单元，其中，
    所述处理单元用于，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；
    若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；
    将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；
    对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。
  11. 根据权利要求10所述的装置，其特征在于，在所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据方面，所述处理单元具体用于：将所述第一 图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；
    在所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据方面，所述处理单元具体用于：将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；
    其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。
  12. 根据权利要求11所述的装置，其特征在于，所述第一插帧帧率通过如下操作确定：确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。
  13. 根据权利要求12所述的装置，其特征在于，所述预设的移动速度与插帧帧率的关系中，所述移动速度的数值与所述插帧帧率的数值成正向关联关系。
  14. 根据权利要求11所述的装置，其特征在于，所述第二插帧帧率通过如下操作确定：确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。
  15. 根据权利要求11所述的装置，其特征在于，所述处理单元还用于：检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。
  16. 根据权利要求11-15任一项所述的装置，其特征在于，所述处理单元还用于：检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。
  17. 根据权利要求16所述的装置，其特征在于，所述弹幕的显示区域包括显示屏的顶部区域或者所述显示屏的底部区域。
  18. 根据权利要求17所述的装置，其特征在于，所述预设格式的第一图层的图层类型包括滚动弹幕图层。
  19. 一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
  20. 一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
PCT/CN2021/074412 2020-03-06 2021-01-29 图像数据处理方法及相关装置 WO2021175054A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010153391.6A CN111356026B (zh) 2020-03-06 2020-03-06 图像数据处理方法及相关装置
CN202010153391.6 2020-03-06

Publications (1)

Publication Number Publication Date
WO2021175054A1 true WO2021175054A1 (zh) 2021-09-10

Family

ID=71194342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/074412 WO2021175054A1 (zh) 2020-03-06 2021-01-29 图像数据处理方法及相关装置

Country Status (2)

Country Link
CN (1) CN111356026B (zh)
WO (1) WO2021175054A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339313A (zh) * 2021-12-28 2022-04-12 维沃移动通信有限公司 插帧方法、装置及电子设备
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN116095382A (zh) * 2022-06-02 2023-05-09 荣耀终端有限公司 弹幕识别方法和相关装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356026B (zh) * 2020-03-06 2022-03-29 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN114727137B (zh) * 2021-01-04 2024-03-12 腾讯科技（深圳）有限公司 一种视频播放方法、装置、存储介质以及计算机设备
CN113067960B (zh) * 2021-03-16 2022-08-12 合肥合芯微电子科技有限公司 影像插补方法、装置和存储介质
CN113709301B (zh) * 2021-08-25 2023-05-30 Oppo广东移动通信有限公司 图像处理方法及装置、存储器、电子设备
CN114500853A (zh) * 2022-02-25 2022-05-13 维沃移动通信有限公司 电子设备及图像显示方法
CN116932193B (zh) * 2022-04-07 2024-08-20 华为技术有限公司 一种显示子系统的通道分配方法、装置及存储介质
CN117695625B (zh) * 2023-07-24 2024-11-08 荣耀终端有限公司 插帧方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073922A1 (en) * 2001-10-11 2003-04-17 Eastman Kodak Company Digital image sequence display system and method
CN105142031A (zh) * 2015-08-17 2015-12-09 北京奇虎科技有限公司 在视频播放时以弹幕显示文字信息的方法及装置
CN105898521A (zh) * 2016-04-12 2016-08-24 王邈 弹幕添加装置和方法
CN106534875A (zh) * 2016-11-09 2017-03-22 广州华多网络科技有限公司 弹幕显示控制方法、装置及终端
CN106933328A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
CN110427094A (zh) * 2019-07-17 2019-11-08 Oppo广东移动通信有限公司 显示方法、装置、电子设备及计算机可读介质
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219646B2 (ja) * 2008-06-24 2013-06-26 キヤノン株式会社 映像処理装置及び映像処理装置の制御方法
CN102685437B (zh) * 2012-02-03 2016-06-29 深圳市创维群欣安防科技股份有限公司 视频图像补偿方法及监视器
CN203313319U (zh) * 2013-06-09 2013-11-27 深圳创维－Rgb电子有限公司 一种显示系统
CN107172476B (zh) * 2017-06-09 2019-12-10 创视未来科技（深圳）有限公司 一种交互式脚本录制视频简历的系统及实现方法
JP6508270B2 (ja) * 2017-09-13 2019-05-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN110377263B (zh) * 2019-07-17 2021-08-17 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073922A1 (en) * 2001-10-11 2003-04-17 Eastman Kodak Company Digital image sequence display system and method
CN105142031A (zh) * 2015-08-17 2015-12-09 北京奇虎科技有限公司 在视频播放时以弹幕显示文字信息的方法及装置
CN105898521A (zh) * 2016-04-12 2016-08-24 王邈 弹幕添加装置和方法
CN106534875A (zh) * 2016-11-09 2017-03-22 广州华多网络科技有限公司 弹幕显示控制方法、装置及终端
CN106933328A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
CN110427094A (zh) * 2019-07-17 2019-11-08 Oppo广东移动通信有限公司 显示方法、装置、电子设备及计算机可读介质
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339313A (zh) * 2021-12-28 2022-04-12 维沃移动通信有限公司 插帧方法、装置及电子设备
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN114339411B (zh) * 2021-12-30 2023-12-26 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN116095382A (zh) * 2022-06-02 2023-05-09 荣耀终端有限公司 弹幕识别方法和相关装置
CN116095382B (zh) * 2022-06-02 2023-10-31 荣耀终端有限公司 弹幕识别方法和相关装置
WO2023231655A1 (zh) * 2022-06-02 2023-12-07 荣耀终端有限公司 弹幕识别方法和相关装置

Also Published As

Publication number Publication date
CN111356026B (zh) 2022-03-29
CN111356026A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
WO2021175054A1 (zh) 图像数据处理方法及相关装置
US11880629B2 (en) Display control method and apparatus
WO2021175055A1 (zh) 视频处理方法及相关装置
WO2020078027A1 (zh) 一种图像处理方法、装置与设备
WO2020078026A1 (zh) 一种图像处理方法、装置与设备
CN111225150B (zh) 插帧处理方法及相关产品
CN102930852B (zh) 通过动态调节屏幕刷新率来提高移动终端系统性能的方法
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
WO2022116962A1 (zh) 视频播放方法、装置及电子设备
CN111327908B (zh) 一种视频处理方法及相关装置
US20140199043A1 (en) Method and computing device for performing virtual camera functions during playback of media content
WO2023160617A9 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
WO2021136158A1 (zh) 一种视频窗口画面显示方法及装置
CN103839533B (zh) 一种移动终端图像的显示方法和移动终端
CN112596843A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022212996A1 (en) Selective motion-compensated frame interpolation
US11076121B2 (en) Apparatus and associated methods for video presentation
WO2021213017A1 (zh) 一种视频叠加方法、装置及系统
KR20170080496A (ko) 프레임 레이트 변환 방법 및 장치
WO2023125316A1 (zh) 视频处理方法、装置、电子设备及介质
WO2024067512A1 (zh) 视频密集预测方法及其装置
WO2020038071A1 (zh) 视频增强控制方法、装置、电子设备及存储介质
WO2022161310A1 (zh) 显示方法、装置和电子设备
WO2024055333A1 (zh) 图像处理方法、智能设备及存储介质
CN113923514A (zh) 一种显示设备及memc重复帧丢弃方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21763552

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21763552

Country of ref document: EP

Kind code of ref document: A1