Nothing Special   »   [go: up one dir, main page]

WO2019233341A1 - 图像处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
WO2019233341A1
WO2019233341A1 PCT/CN2019/089402 CN2019089402W WO2019233341A1 WO 2019233341 A1 WO2019233341 A1 WO 2019233341A1 CN 2019089402 W CN2019089402 W CN 2019089402W WO 2019233341 A1 WO2019233341 A1 WO 2019233341A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
category
target
processed
label
Prior art date
Application number
PCT/CN2019/089402
Other languages
English (en)
French (fr)
Inventor
刘耀勇
陈岩
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2019233341A1 publication Critical patent/WO2019233341A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present application relates to the field of computer technology, and in particular, to an image processing method, apparatus, computer-readable storage medium, and computer device.
  • Embodiments of the present application provide an image processing method, apparatus, computer equipment, and computer-readable storage medium, which can comprehensively process an image according to an image recognition result, and improve the overall effect of the image.
  • An image processing method includes:
  • An adjustment parameter is determined according to the at least one tag in combination with a preset processing strategy, and the image to be processed is adjusted according to the adjustment parameter.
  • An image processing device includes:
  • An image acquisition module configured to acquire an image to be processed, and input the image to be processed into a neural network recognition model
  • a category recognition module configured to identify an image category and a target category of the image to be processed according to the neural network recognition model, and mark the image category and the target category to obtain at least one label;
  • An image processing module is configured to determine an adjustment parameter according to the at least one tag in combination with a preset processing strategy, and adjust the image to be processed according to the adjustment parameter.
  • a computer device includes a memory and a processor.
  • the memory stores a computer program.
  • the processor implements the operations described above.
  • a computer-readable storage medium having stored thereon a computer program, characterized in that when the computer program is executed by a processor, the operations described above are realized.
  • the image processing method, device, computer equipment, and computer-readable storage medium in the embodiments of the present application obtain the image to be processed, input the image to be processed into a neural network recognition model, and identify the image according to the neural network recognition model.
  • An image category and a target category of an image to be processed, and the image category and the target category are labeled to obtain at least one label, and an adjustment parameter is determined according to the at least one label in combination with a preset processing strategy.
  • the processed image can be adjusted, and the image can be comprehensively processed in combination with the identified scene.
  • the background and foreground in the image to be processed can be optimized separately, so that the optimization effect of the image is more obvious, and the beauty of the image is improved.
  • FIG. 1 is an application environment diagram of an image processing method in an embodiment
  • FIG. 2 is a schematic diagram of an internal structure of a terminal according to an embodiment
  • FIG. 3 is a schematic flowchart of an image processing method according to an embodiment
  • FIG. 5 is a schematic flowchart of an image processing method in still another embodiment
  • FIG. 6 is a schematic flowchart of an image processing method according to still another embodiment
  • FIG. 7 is a schematic flowchart of an image processing method in still another embodiment
  • FIG. 8 is a structural block diagram of an image processing apparatus according to an embodiment
  • FIG. 9 is a schematic diagram of an image processing circuit in an embodiment
  • FIG. 10 is a schematic diagram of classification of shooting scenes in an embodiment.
  • FIG. 1 is an application environment diagram of an image processing method in an embodiment.
  • the terminal 110 may call a camera on the camera for shooting.
  • the object 120 in the environment is scanned in real time to obtain a frame image, and the captured image is generated according to the frame image.
  • the camera includes a first camera module 112 and a second camera module 124, and shooting is performed according to the first camera module 112 and the second camera module 124 together.
  • the number of camera modules on the terminal 110 can also be set to a single or multiple, which is not limited in this embodiment.
  • the terminal 110 may use the frame image or the generated image as a to-be-processed image, input the to-be-processed image to a neural network recognition model, identify the image category and target category of the to-be-processed image according to the neural network recognition model, and The category is labeled to obtain at least one label, and the adjustment parameter is determined according to the at least one label in combination with a preset processing strategy, and the image to be processed is adjusted according to the adjustment parameter to achieve comprehensive optimization processing of the image.
  • FIG. 2 is a schematic diagram of an internal structure of a terminal according to an embodiment.
  • the terminal 110 includes a processor, a memory, a display screen, and a camera connected through a system bus.
  • the processor is used to provide computing and control capabilities to support the operation of the entire terminal 110.
  • the memory is used to store data, programs, and the like. At least one computer program is stored on the memory, and the computer program can be executed by a processor to implement the image processing method applicable to the terminal 110 provided in the embodiment of the present application.
  • the memory may include a non-volatile storage medium such as a magnetic disk, an optical disc, a read-only memory (ROM), or a random-access memory (RAM).
  • the memory includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system and a computer program.
  • the computer program can be executed by a processor to implement an image processing method provided by each of the following embodiments.
  • the internal memory provides a cached operating environment for operating system computer programs in a non-volatile storage medium.
  • the camera includes the above-mentioned first camera module and second camera module, both of which can be used to generate a frame image.
  • the display screen may be a touch screen, such as a capacitive screen or a resistive screen, for displaying visual information such as a frame image or a captured image, and may also be used to detect a touch operation acting on the display screen and generate corresponding instructions.
  • the terminal 110 may be a mobile phone, a tablet computer, a PDA (Personal Digital Assistant), a POS (Point of Sales), a mobile computer, a wearable device, and the like.
  • FIG. 2 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the terminal 110 to which the solution of the present application is applied.
  • the specific terminal 110 may Include more or fewer parts than shown in the figure, or combine certain parts, or have a different arrangement of parts.
  • an image processing method is provided, which is applicable to a terminal having a shooting function, and can comprehensively process an image according to a scene in the identified image to improve the beauty of the image.
  • This embodiment is mainly described by applying the method to a terminal shown in FIG. 1, and the method includes the following operations 302 to 306:
  • Operation 302 Acquire an image to be processed, and input the image to be processed into a neural network recognition model.
  • the processor in the terminal may acquire the image to be processed.
  • the image to be processed may be a preview image collected by the terminal through an imaging device such as a camera and previewed on the display screen, or an image that has been generated and stored.
  • the processor in the terminal may obtain an Internet image or an image in a user's personal network album from the server as the image to be processed.
  • the processor in the terminal may identify a scene in the image to be processed, and comprehensively process the image to be processed according to the identified scene.
  • the processor in the terminal inputs the to-be-processed image into a neural network recognition model for scene recognition.
  • the neural network recognition model can be understood as a mathematical way that simulates a human actual neural network for system recognition, and can be identified through a neural network recognition model. Show the scenes contained in the image to be processed, where the scenes can include landscapes, night scenes, darkness, backlight, sunrise / sunset, indoors, etc. Optionally, the scenes can also include portraits, animals, food, etc.
  • Operation 304 Identify the image category and the target category of the image to be processed according to the neural network recognition model, and mark the image category and the target category to obtain at least one label.
  • Model training is performed on the neural network recognition model using different scene data to obtain a classification model and a detection model.
  • scene recognition is performed to identify the image category and / or target category in the image to be processed.
  • the identified image categories and target categories are labeled separately to obtain at least one label.
  • the image category can be understood as the classification of the image background area in the image to be processed
  • the target category can be understood as the image foreground target in the image to be processed.
  • the background area can be identified by image classification technology
  • the foreground target can be located and identified by object detection technology.
  • the image category refers to a classification category of a predefined image
  • the image category may include landscape, beach, snow, blue sky, green space, night scene, darkness, backlight, sunrise / sunset, indoor, fireworks, spotlight, and the like.
  • the target category refers to the category of a target in a predefined image.
  • Target categories can include portraits, babies, cats, dogs, food, and more.
  • the image category and target category can also be text documents, macros, and so on.
  • Operation 306 Determine an adjustment parameter according to the at least one tag in combination with a preset processing strategy, and adjust the image to be processed according to the adjustment parameter.
  • a corresponding preset processing strategy can be set for each label, and the processing methods of the image to be processed include, but are not limited to, adjusting lighting, adjusting contrast, adjusting saturation, adjusting color, adjusting brightness, and setting camera parameters.
  • This embodiment determines the processing method of the image to be processed and the adjustment parameter by using the obtained at least one label, adjusts the image to be processed according to the adjustment parameter, and obtains an image after image processing. It should be noted that, in this embodiment, an image to be processed may be processed separately according to different tags, so that the to-be-processed image obtains a comprehensive processed effect, and the optimization effect of the image is improved.
  • parameters such as saturation and contrast of the processing area determined by the image category label may be adjusted according to preset parameter values; when the obtained image category label is a night scene category, the The processing area to which the image category belongs performs night scene multi-frame processing; when a target category label representing the foreground object of the image is obtained, determining whether the target category label is a mobile type target, and when the target category label belongs to a mobile type target, The camera's automatic capture mode can be turned on to generate an image by the camera's automatic capture.
  • this embodiment is not limited to the image processing methods listed above, and parameter adjustment of the image to be processed can also be performed according to other different tags, such as portrait, food, interior, document text, etc. This embodiment is not limited to this.
  • the above image processing method by acquiring an image to be processed, inputting the image to be processed into a neural network recognition model, identifying an image category and a target category of the image to be processed according to the neural network recognition model, and classifying the image category Marking with the target category to obtain at least one label, determining an adjustment parameter according to the at least one label in combination with a preset processing strategy, adjusting the image to be processed according to the adjustment parameter, and comprehensively processing the image in combination with the identified scene It can optimize the background and foreground in the image to be processed separately, so that the optimization effect of the image is more obvious, and the beauty of the image is improved.
  • the image category and the target category of the image to be processed are identified according to the neural network recognition model, that is, operation 304 includes:
  • Operation 402 Input the image to be detected into an input layer of a neural network.
  • the neural network includes an input layer, a basic network layer, a classification network layer, a target detection network layer, and an output layer.
  • the input layer is cascaded to the base network layer.
  • the input layer receives the training image and passes the training image to the base network layer.
  • Operation 404 Perform feature extraction on the image to be detected through a basic network layer of the neural network, and input the extracted image features to a classification network layer and a target detection network layer.
  • the basic network layer is used to perform feature extraction on the input image to obtain image features.
  • the basic network layer can use SIFT (Scale-invariant Feature) transform features, Histogram of Oriented Gradient (HOG) features, VGG, googlenet and other network layer extraction features.
  • VGG can extract features using the first few layers in VGG16 to extract image features. If the input image received by VGG16 is 300 * 300 * 3, the input image can be preprocessed first, and then two yellow convolution layers (convolution kernel is 3 * 3 * 3) are used for convolution processing.
  • Operation 406 Perform classification detection through the classification network layer to output the confidence level of the image category to which the background image belongs.
  • the confidence degree refers to the reliability of the measured value of the measured parameter.
  • the classification network layer can use the convolution layer to classify the background image category of the training image, and then cascade it to the softmax layer to output the confidence level of the image category to which the background image category belongs.
  • the classification network layer can be a Mobilenet layer, and the Mobilenet layer can be a deep convolution and a point convolution (1 * 1 convolution kernel). Deep convolution applies each convolution kernel to each channel, and point convolution is used to combine the output of channel convolution.
  • the dot convolution can be followed by batchnorm and activation layer ReLU, then input to the softmax layer for classification, and output a first loss function that directly differs between the first prediction confidence level and the first true confidence level of the image category to which the background image belongs.
  • Operation 408 Perform target detection through the target detection network layer to obtain the confidence level of the target category to which the foreground target belongs.
  • the target detection network layer is to add a convolutional feature layer at the end of the basic network layer.
  • the convolutional feature layer can use a set of convolution filters to generate a fixed set of predictions to detect multi-scale feature maps. For m * n feature layers with p channels, a 3 * 3 * p convolution kernel convolution operation can be used to obtain the second prediction confidence corresponding to each target category.
  • the target detection network layer cascades the softmax layer to output the confidence level of the target category to which the foreground target belongs.
  • the background image is detected to obtain a first prediction confidence level, and the foreground target is detected to obtain a second prediction confidence level.
  • the first prediction confidence is the confidence of the image category to which the background image belongs in the training image predicted by using the neural network.
  • the second prediction confidence is the confidence of the target category to which the foreground target belongs in the training image predicted by the neural network.
  • the image category and target category can be pre-labeled in the training image to obtain the first true confidence level and the second true confidence level.
  • the first true confidence level represents the confidence level of the image category to which the background image previously labeled in the training image belongs.
  • the second true confidence level represents the confidence level of the target category to which the foreground target labeled in the training image belongs in advance.
  • the true confidence can be expressed as 1 (or positive value) and 0 (or negative value), which are used to indicate that they belong to the image category and do not belong to the image category, respectively.
  • a first loss function is obtained by obtaining a difference between the first prediction confidence level and a first true confidence level
  • a second loss function is obtained by obtaining a difference between the second prediction confidence level and the second true confidence level.
  • Both the first loss function and the second loss function can be logarithmic, hyperbolic, or absolute value functions.
  • the shooting scene of the training image may include a designated image category, a designated object category, and others.
  • Specify the image category as the background image category which can include landscape, beach, snow, blue sky, green space, night, dark, backlight, sunrise / sunset, indoor, fireworks, spotlight, etc.
  • the designated object category is the category to which the foreground target belongs, which can be portrait, baby, cat, dog, food, etc. Others can be text documents, macros, etc.
  • marking the image category and the target category to obtain at least one label includes: marking the identified image category according to a preset image category to obtain an image category label that characterizes an image background area.
  • the image category can be understood as the classification of the background area of the image in the image to be processed.
  • the background area can be identified by image classification technology.
  • Image classification refers to different types of targets based on different characteristics reflected in the image information.
  • Coming image processing method For example, multiple types of shooting scenes can be defined in the terminal in advance, and can be divided into landscape, beach, snow, blue sky, green space, night scene, dark, backlight, sunrise / sunset, indoor, fireworks, spotlight, etc. according to different shooting scenes. It can be understood that this embodiment is not limited to the image categories listed above, and scene classification can also be performed according to other characteristics, and image categories can also be set according to user-defined settings. This embodiment will not list them one by one.
  • marking the image category and the target category to obtain at least one label further includes: marking the identified target category according to a preset target category to obtain a target category label that characterizes the foreground target of the image.
  • the target category can be understood as the image foreground target in the image to be processed.
  • the foreground target can be located and identified by target detection technology.
  • Target detection refers to image segmentation based on the geometric and statistical characteristics of the target.
  • the target segmentation and recognition are combined into Technology.
  • multiple types of foreground targets such as portraits, babies, cats, dogs, and food, can be defined in the terminal in advance. It can be understood that this embodiment is not limited to the foreground targets listed above, and can also classify targets according to other characteristics, and can also set image categories according to user-defined settings. This embodiment will not list them one by one.
  • determining an adjustment parameter according to the at least one tag in combination with a preset processing strategy, and adjusting the image to be processed according to the adjustment parameter includes:
  • Operation 502 When at least one label is obtained, obtain a processing region and an adjustment parameter in an image to be processed determined based on a single label.
  • the label contains the area range of the background area and / or foreground target in the image to be processed.
  • the adjustment parameters of the processing area can also be determined according to the label. Since different image categories and target categories are preset with corresponding adjustment parameters, the adjustment parameters of the image to be processed can be obtained according to the determined label.
  • Operation 504 Adjust the image to be processed according to a processing area and an adjustment parameter determined by each label.
  • the adjustment parameters can be set in advance according to different shooting scenes, or can be set according to user needs.
  • parameters such as saturation and contrast of the processing area determined by the image category label may be adjusted according to preset parameter values; when the obtained image category label is a night scene category, the The processing area to which the image category belongs performs night scene multi-frame processing; when a target category label representing the foreground object of the image is obtained, determining whether the target category label is a mobile type target, and when the target category label belongs to a mobile type target, The camera's automatic capture mode can be turned on to generate an image by the camera's automatic capture.
  • determining the adjustment parameter according to the at least one tag in combination with a preset processing strategy further includes:
  • the saturation and contrast of the processing area determined by the image category label are adjusted according to a preset parameter value. For example, when a beach is identified in the image to be processed, the saturation of the beach is increased, and the hue is adjusted to make the beach color more vivid; when a blue sky is recognized in the image to be processed, the saturation of the blue sky is increased. , So that the color of the blue sky is fuller; when it is recognized that there is green grass in the image to be processed, the saturation of the green grass is increased, and AWB judgment is assisted to make the green grass in the image more lively; when it is identified that it is to be processed When there is snow in the image, increase the AEC target to make the snow in the image more dreamy.
  • night scene multi-frame processing is performed on a processing area to which the image category belongs.
  • the night scene is processed for multiple frames, and the point light source is used to assist judgment to reduce the noise of the night-scape part of the image;
  • Multi-frame processing is performed on the dark portion;
  • backlight HDR processing is performed on the backlight portion; through the above processing methods, the processed image has a better look and feel.
  • the image processing method further includes:
  • Operation 602 When a target category label representing the foreground object of the image is obtained, determine whether the target category label is a moving type target.
  • the moving-type target may include a baby, a cat, a dog, and the like. Because shooting with a moving-type target has limitations that are difficult to control, the shooting of the moving-type target requires a specific shooting method for shooting.
  • Operation 604 When the target category tag belongs to a mobile-type target, an automatic snapshot mode of a camera is turned on to generate an image by automatically capturing the camera.
  • the automatic snapshot of the camera can be understood as a photographing method in which the camera automatically presses the shutter after the autofocus is completed.
  • the terminal can enable the automatic capture mode, so that the terminal can automatically shoot the current object to be captured, that is, automatically generate an image after the camera's autofocus is completed.
  • the continuous shooting mode on the terminal can also be turned on, and the object to be photographed is shot, which is convenient for capturing wonderful moments.
  • an automatic snapping mode of a camera is turned on to generate an image through the automatic snapping of the camera, so that the user can easily complete the movement during the shooting
  • the shooting of type targets improves the user's shooting experience.
  • the method before acquiring an image to be processed, the method further includes:
  • Operation 702 The processor inputs a training image including an image category and a target category to a neural network, and performs feature extraction through a basic network layer of the neural network.
  • Operation 704 The processor inputs the extracted image features to a classification network layer and a target detection network layer, obtains a first loss function at the classification network layer, and obtains a second loss function at the target detection network layer.
  • Operation 706 The processor performs weighted summation of the first loss function and the second loss function to obtain a target loss function.
  • Operation 708 The processor adjusts parameters of the neural network according to the target loss function, and trains the neural network.
  • the image processing method provided in this embodiment obtains a target loss function by weighted summing a first loss function corresponding to a specified image category to which a background image belongs and a second loss function corresponding to a specified object category to which a foreground target belongs, and according to the target loss function Adjust the parameters of the neural network so that the trained neural network can simultaneously recognize the image classification and the foreground target and obtain more information.
  • an image processing apparatus includes an image acquisition module 810, a category recognition module 820, and an image processing module 830.
  • An image acquisition module 810 is configured to acquire an image to be processed, and input the image to be processed into a neural network recognition model.
  • a category recognition module 820 is configured to identify an image category and a target category of the image to be processed according to the neural network recognition model, and mark the image category and the target category to obtain at least one label.
  • An image processing module 830 is configured to determine an adjustment parameter according to the at least one tag in combination with a preset processing strategy, and adjust the image to be processed according to the adjustment parameter.
  • the image processing device obtains an image to be processed, inputs the image to be processed to a neural network recognition model, recognizes an image category and a target category of the image to be processed according to the neural network recognition model, and determines the image category Marking with the target category to obtain at least one label, determining an adjustment parameter according to the at least one label in combination with a preset processing strategy, adjusting the image to be processed according to the adjustment parameter, and comprehensively processing the image in combination with the identified scene It can optimize the background and foreground in the image to be processed separately, so that the optimization effect of the image is more obvious, and the beauty of the image is improved.
  • the category recognition module 820 is further configured to input the image to be detected into an input layer of a neural network; perform feature extraction on the image to be detected through a basic network layer of the neural network, and extract the extracted image Features are input to the classification network layer and the target detection network layer; classification detection is performed through the classification network layer to output the confidence level of the image category to which the background image belongs; and target detection through the target detection network layer to obtain the confidence level of the target category to which the foreground target belongs .
  • the category recognition module 820 is further configured to mark the recognized image category according to a preset image category to obtain an image category label representing a background area of the image; and mark the recognized target category according to a preset target category. To obtain a target category label that represents the foreground target of the image.
  • the image processing module 830 is further configured to obtain a processing area and an adjustment parameter in the image to be processed determined based on a single label when at least one label is obtained; The image to be processed is adjusted.
  • the image processing module 830 is further configured to adjust the saturation and contrast of the processing area determined by the image category label according to a preset parameter value when the obtained image category label is a landscape category; when the obtained image category is When the label is a night scene category, night scene multi-frame processing is performed on a processing area to which the image category belongs.
  • the image processing module 830 is further configured to determine whether the target category label is a mobile-type target when obtaining a target category label that represents an image foreground target; when the target category label belongs to a mobile-type target, turn on An automatic snapping mode of a camera to generate an image through automatic snapping of the camera.
  • the image processing apparatus further includes a neural network training module, configured to input a training image including an image category and a target category to a neural network, and perform feature extraction through a basic network layer of the neural network; Image features are input to the classification network layer and the target detection network layer, a first loss function is obtained at the classification network layer, and a second loss function is obtained at the target detection network layer; the first loss function and the second loss are obtained The function performs weighted summation to obtain a target loss function; adjusts parameters of the neural network according to the target loss function, and trains the neural network.
  • a neural network training module configured to input a training image including an image category and a target category to a neural network, and perform feature extraction through a basic network layer of the neural network; Image features are input to the classification network layer and the target detection network layer, a first loss function is obtained at the classification network layer, and a second loss function is obtained at the target detection network layer; the first loss function and the second loss are obtained The function performs weighted summation to obtain
  • each module in the above image processing device is for illustration only. In other embodiments, the signal processing device may be divided into different modules as needed to complete all or part of the functions of the above image processing device.
  • Each module in the image processing apparatus may be implemented in whole or in part by software, hardware, and a combination thereof.
  • Each of the above modules may be embedded in the processor in the form of hardware or independent of the processor in the terminal, or stored in the memory of the terminal in the form of software to facilitate the processor to call and execute the operations corresponding to the above modules.
  • each module in the image processing apparatus provided in the embodiments of the present application may be in the form of a computer program.
  • the computer program can be run on a terminal or a server.
  • the program module constituted by the computer program can be stored in the memory of the terminal or server.
  • the computer program is executed by a processor, the operations of the image processing method described in the embodiments of the present application are implemented.
  • An embodiment of the present application further provides a computer-readable storage medium.
  • One or more non-transitory computer-readable storage media containing computer-executable instructions, when the computer-executable instructions are executed by one or more processors, causing the processors to execute as described in the above embodiments Described image processing operations.
  • the embodiment of the present application also provides a computer program product.
  • a computer program product containing instructions that, when run on a computer, causes the computer to execute the image processing methods described in the above embodiments.
  • the embodiment of the present application also provides a computer device.
  • the above computer equipment includes an image processing circuit, and the image processing circuit may be implemented by using hardware and / or software components, and may include various processing units defining an ISP (Image Signal Processing) pipeline.
  • FIG. 9 is a schematic diagram of an image processing circuit in one embodiment. As shown in FIG. 9, for ease of description, only aspects of the image processing technology related to the embodiments of the present application are shown.
  • the image processing circuit includes an ISP processor 940 and a control logic 950.
  • the image data captured by the imaging device 910 is first processed by the ISP processor 940, which analyzes the image data to capture image statistical information that can be used to determine and / or one or more control parameters of the imaging device 910.
  • the imaging device 910 may include a camera having one or more lenses 912 and an image sensor 914.
  • the image sensor 914 may include a color filter array (such as a Bayer filter). The image sensor 914 may obtain the light intensity and wavelength information captured by each imaging pixel of the image sensor 914, and provide a set of Image data.
  • the sensor 920 may provide parameters (such as image stabilization parameters) of the acquired image processing to the ISP processor 940 based on the interface type of the sensor 920.
  • the sensor 920 interface may use a SMIA (Standard Mobile Imaging Architecture) interface, other serial or parallel camera interfaces, or a combination of the foregoing interfaces.
  • SMIA Standard Mobile Imaging Architecture
  • the image sensor 914 may also send the original image data to the sensor 920, and the sensor 920 may provide the original image data to the ISP processor 940 based on the interface type of the sensor 920, or the sensor 920 stores the original image data in the image memory 930.
  • the ISP processor 940 processes the original image data pixel by pixel in a variety of formats.
  • each image pixel may have a bit depth of 8, 10, 12, or 14 bits, and the ISP processor 940 may perform one or more image processing operations on the original image data and collect statistical information about the image data.
  • the image processing operations may be performed with the same or different bit depth accuracy.
  • the ISP processor 940 may also receive image data from the image memory 930.
  • the sensor 920 interface sends the original image data to the image memory 930, and the original image data in the image memory 930 is then provided to the ISP processor 940 for processing.
  • the image memory 930 may be a part of a memory device, a storage device, or a separate dedicated memory in an electronic device, and may include a DMA (Direct Memory Access) feature.
  • DMA Direct Memory Access
  • the ISP processor 940 may perform one or more image processing operations, such as time-domain filtering.
  • the processed image data may be sent to the image memory 930 for further processing before being displayed.
  • the ISP processor 940 receives processing data from the image memory 930 and performs image data processing on the processing data in the original domain and in the RGB and YCbCr color spaces.
  • the image data processed by the ISP processor 940 may be output to the display 970 for viewing by the user and / or further processed by a graphics engine or a GPU (Graphics Processing Unit).
  • the output of the ISP processor 940 can also be sent to the image memory 930, and the display 970 can read image data from the image memory 930.
  • the image memory 930 may be configured to implement one or more frame buffers.
  • the output of the ISP processor 940 may be sent to an encoder / decoder 960 to encode / decode image data.
  • the encoded image data can be saved and decompressed before being displayed on the display 970 device.
  • the encoder / decoder 960 may be implemented by a CPU or a GPU or a coprocessor.
  • the statistical data determined by the ISP processor 940 may be sent to the control logic 950 unit.
  • the statistical data may include image information of the image sensor 914 such as auto exposure, auto white balance, auto focus, flicker detection, black level compensation, and lens 912 shading correction.
  • the control logic 950 may include a processor and / or a microcontroller that executes one or more routines (such as firmware). The one or more routines may determine the control parameters of the imaging device 910 and the ISP processing according to the received statistical data. Parameters of the controller 940.
  • control parameters of the imaging device 910 may include sensor 920 control parameters (such as gain, integration time for exposure control, image stabilization parameters, etc.), camera flash control parameters, lens 912 control parameters (such as focus distance for focusing or zooming), or these A combination of parameters.
  • ISP control parameters may include gain levels and color correction matrices for automatic white balance and color adjustment (eg, during RGB processing), and lens 912 shading correction parameters.
  • the ISP processor 940 in FIG. 9 may be used to implement the foregoing image processing method:
  • An adjustment parameter is determined according to the at least one tag in combination with a preset processing strategy, and the image to be processed is adjusted according to the adjustment parameter.
  • the image can be comprehensively processed in combination with the identified scene, and the background and foreground in the image to be processed can be optimized separately, so that the optimization effect of the image is more obvious, and the beauty of the image is improved.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM), which is used as external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDR, SDRAM), enhanced SDRAM (ESDRAM), synchronous Link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDR dual data rate SDRAM
  • SDRAM enhanced SDRAM
  • SLDRAM synchronous Link (Synchlink) DRAM
  • SLDRAM synchronous Link (Synchlink) DRAM
  • Rambus direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法包括：获取待处理图像，将所述待处理图像输入到神经网络识别模型；根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

Description

图像处理方法、装置、计算机可读存储介质和计算机设备
相关申请的交叉引用
本申请要求于2018年6月8日提交中国专利局、申请号为201810585577.1、发明名称为“图像处理方法、装置、计算机可读存储介质和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着互联网技术的不断发展，移动终端的智能化给用户带来了极大的便利，例如拍照功能，移动终端的像素越来越高，拍照效果甚至媲美于专业摄影仪器，并且移动终端具有携带及使用上的便捷性，因此通过移动终端进行拍照成为了人们生活中不可或缺的娱乐项目。
在拍照或者处理图像的过程中，通常是对整个图像或者选取图像的局部进行调整，这样的图像处理方式不能结合图像的场景进行优化处理，无法给图像带来综合的优化效果。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及计算机可读存储介质，可以根据图像的识别结果对图像进行综合处理，提升图像的整体效果。
一种图像处理方法，包括：
获取待处理图像，将所述待处理图像输入到神经网络识别模型；
根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；及
根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
一种图像处理装置，包括：
图像获取模块，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型；
类别识别模块，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；及
图像处理模块，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的操作。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的操作。
本申请实施例中的图像处理方法、装置、计算机设备及计算机可读存储介质，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中终端的内部结构示意图；
图3为一个实施例中图像处理方法的流程示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图5为再一个实施例中图像处理方法的流程示意图；
图6为再一个实施例中图像处理方法的流程示意图；
图7为再一个实施例中图像处理方法的流程示意图；
图8为一个实施例中图像处理装置的结构框图；
图9为一个实施例中图像处理电路的示意图；
图10为一个实施例中拍摄场景的分类示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。
图1为一个实施例中图像处理方法的应用环境图。参阅图1，终端110可调用其上的摄像头进行拍摄，如对环境中的物体120进行实时扫描得到帧图像，根据该帧图像生成拍摄的图像。可选地，该摄像头内包含第一摄像头模组112和第二摄像头模组124，根据该第一摄像头模组112和第二摄像头模组124共同实现拍摄。可以理解的是，终端110上的摄像头模组数量还可以设置为单个或多个，本实施例对此不进行限定。
终端110可将该帧图像或者生成的图像，作为待处理图像，将待处理图像输入到神经网络识别模型，根据神经网络识别模型识别待处理图像的图像类别和目标类别，并对图像类别和目标类别进行标记得到至少一个标签，根据至少一个标签结合预设处理策略确定调节参数，根据调节参数对待处理图像进行调节，实现对图像的综合优化处理。
图2为一个实施例中终端的内部结构示意图。如图2所示，该终端110包括通过系统总线连接的处理器、存储器、显示屏和摄像头。其中，该处理器用于提供计算和控制能力，支撑整个终端110的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于终端110的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。摄像头包括上述的第一摄像头模组和第二摄像头模组，均可用于生成帧图像。显示屏可以是触摸屏，比如为电容屏或电阻屏，用于显示帧图像或拍摄图像等可视信息，还可以被用于检测作用于该显示屏的触摸操作，生成相应的指令。该终端110可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售移动终端)、车载电脑、穿戴式设备等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端110的限定，具体的终端110可以包括比 图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，在一个实施例中，提供了一种图像处理方法，适用于具备拍摄功能的终端，可根据通过识别图像中的场景对图像进行综合处理，提升图像的美感。本实施例主要以该方法应用于如图1所示的终端中进行说明，该方法包括以下操作302～操作306：
操作302：获取待处理图像，将所述待处理图像输入到神经网络识别模型。
终端中的处理器可以获取待处理图像，待处理图像可以是终端通过摄像头等成像设备采集的可在显示屏预览的预览图像，也可以是已经生成并存储的图像。再者，终端中的处理器可以从服务器获取互联网图像或者用户个人网络相册中的图像，作为待处理图像。终端中的处理器可以识别待处理图像中的场景，根据识别出的场景对待处理图像进行综合处理。
具体地，终端中的处理器将所述待处理图像输入到神经网络识别模型进行场景识别，神经网络识别模型可以理解为模拟人类实际神经网络进行系统识别的数学方式，可以通过神经网络识别模型识别出待处理图像中包含的场景，其中场景可包含风景、夜景、黑暗、背光、日出/日落、室内等，可选地，场景还可以包含人像、动物、食品等。
操作304：根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签。
采用不同场景数据对神经网络识别模型进行模型训练得到分类模型和检测模型，根据该分类模型和检测模型对待处理图像进行场景识别，能够识别出待处理图像中的图像类别和/或目标类别，对识别出的图像类别和目标类别进行分别标记，可以得到至少一个标签。
其中，图像类别可以理解为待处理图像中的图像背景区域的分类，目标类别可以理解为待处理图像中的图像前景目标。为了更有效和更准确的识别并分析拍摄的图像场景，从而能够在后处理过程中更好的优化图像质量，需要在场景识别过程中能够识别图像的背景区域和前景目标。可选地，背景区域可以通过图像分类技术进行识别，前景目标可通过目标检测技术进行定位并识别。
具体地，图像类别是指预先定义的图像的分类类别，图像类别可包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。目标类别是指预先定义的图像中的目标的类别。目标类别可包括人像、婴儿、猫、狗、美食等。图像类别和目标类别还可为文本文档、微距等。
操作306：根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
可以针对每个标签设定对应的预设处理策略，对待处理图像的处理方式包括但不限于调节光照、调节对比度、调节饱和度、调节色彩、调节亮度和设定相机参数。本实施例通过获取的至少一个标签，确定对待处理图像的处理方式以及调节参数，根据所述调节参数对所述待处理图像进行调节，并获得经过图像处理后的图像。需要说明的是，本实施例可以根据不同的标签对待处理图像进行单独处理，以使得该待处理图像获得综合处理后的效果，提升了图像的优化效果。
具体地，当得到的图像类别标签为风景类别时，可以根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度等参数；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理；当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标，当所述目标类别标签属于移动类型目标时，可以开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
可以理解的是，本实施例并不局限上述列举的图像处理方式，还可以根据其他不同的标签对待处理图像进行参数调节，如人像、美食、室内、文档文本等，本实施例不限于此。
上述图像处理方法，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综 合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。
在一个实施例中，如图4所示，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，也即操作304包括：
操作402：将所述待检测图像输入到神经网络的输入层。
神经网络包括输入层、基础网络层、分类网络层、目标检测网络层和输出层。输入层级联到基础网络层。输入层接收到训练图像，并将训练图像传递传递给基础网络层。
操作404：通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层。
基础网络层用于对输入的图像进行特征提取，得到图像特征。基础网络层可采用SIFT(Scale-invariant feature transform)特征、方向梯度直方图(Histogram of Oriented Gradient，HOG)特征、VGG、googlenet等网络层提取特征。VGG提取特征可采用VGG16中取前几层提取图像特征。VGG16接收输入的图像如为300*300*3，首先可对输入图像进行预处理，再使用两个黄色的卷积层(卷积核为3*3*3)进行卷积处理，通过对一个三维的27个数求和，然后滑窗移动计算出一维的298*298的矩阵，填充得到300*300*1，在第一个卷积层安置有64个卷积核，则得到300*300*64，然后再按照步长为2，池化采用2*2*64，可以得到150*150*64，第二个卷积层有128个卷积核，处理后可得到75*75*128，依次类推逐层卷积、池化处理得到图像特征。
操作406：通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度。
其中，置信度指的是被测量参数的测量值的可信程度。
分类网络层可采用卷积层对训练图像的背景图像类别进行分类，然后级联到softmax层输出背景图像类别所属图像类别的置信度。分类网络层可为Mobilenet层，Mobilenet层可以为深度卷积和一个点卷积(1*1卷积核)。深度卷积将每个卷积核应用到每一个通道，点卷积用来组合通道卷积的输出。点卷积后面可接batchnorm和激活层ReLU，然后输入到softmax层进行分类，输出背景图像所属图像类别的第一预测置信度与第一真实置信度直接的差异的第一损失函数。
在神经网络进行训练时，softmax层可配置训练集{(x (1),y (1)),...,(x (m),y (m))}，有y (i)∈{1,2,3,...,k}，总共有k个分类。对于每个输入x都会有对应每个类别的概率，即p(y＝j|x)。softmax的代价函数定为如下，其中包含了示性函数1{j＝y (i)}，表示如果第i个样本的类别为j,则y ij＝1，代价函数可看成是最大化似然函数，也即是最小化负对数似然函数。然后通过梯度下降算法来最小化代价函数。
操作408：通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。
目标检测网络层为在基础网络层的末尾增加卷积特征层。卷积特征层可以使用一组卷积滤波器产生固定的预测集合来对多尺度特征图进行检测。对于具有p个通道的大小为m*n的特征层，可以使用3*3*p卷积核卷积操作，得到每一个目标类别对应的第二预测置信度。目标检测网络层级联softmax层，输出前景目标所属目标类别的置信度。对背景图像进行检测得到第一预测置信度，对前景目标进行检测得到第二预测置信度。第一预测置信度为采用该神经网络预测出的该训练图像中背景图像所属图像类别的置信度。第二预测置信度为采用该神经网络预测出的该训练图像中前景目标所属目标类别的置信度。
训练图像中可以预先标注图像类别和目标类别，得到第一真实置信度和第二真实置信度。该第一真实置信度表示在该训练图像中预先标注的背景图像所属图像类别的置信度。第二真实置信度表示在该训练图像中预先标注的前景目标所属目标类别的置信度。真实置信度可以 表示为1(或正值)和0(或负值)，分别用以表示属于图像类别和不属于图像类别。
求取第一预测置信度与第一真实置信度之间的差异得到第一损失函数，求取第二预测置信度与第二真实置信度之间的差异得到第二损失函数。第一损失函数和第二损失函数均可采用对数函数、双曲线函数、绝对值函数等。
如图10所示，训练图像的拍摄场景可包括指定图像类别、指定对象类别和其他。指定图像类别为背景图像类别，可包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。指定对象类别为前景目标所属类别，可为人像、婴儿、猫、狗、美食等。其他可为文本文档、微距等。
在一个实施例中，对所述图像类别和目标类别进行标记得到至少一个标签，包括：根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签。
图像类别可以理解为待处理图像中的图像背景区域的分类，背景区域可以通过图像分类技术进行识别，图像分类指的是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。例如可以在终端内预先定义多类拍摄场景，根据不同拍摄场景可以划分为风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。可以理解的是，本实施例并不局限上述列举的图像类别，还可以根据其他特征进行场景分类，还可以根据用户自定义设定图像类别，本实施例不再一一列举说明。
在一个实施例中，对所述图像类别和目标类别进行标记得到至少一个标签，还包括：根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。
目标类别可以理解为待处理图像中的图像前景目标，前景目标可通过目标检测技术进行定位并识别，目标检测指的是基于目标几何和统计特征的图像分割，将目标的分割和识别合二为一的技术。例如可以在终端内预先定义多类前景目标，例如人像、婴儿、猫、狗、美食等。可以理解的是，本实施例并不局限上述列举的前景目标，还可以根据其他特征进行目标分类，还可以根据用户自定义设定图像类别，本实施例不再一一列举说明。
在一个实施例中，如图5所示，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，包括：
操作502：当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数。
其中，标签内包含有待处理图像中的背景区域和/或前景目标的区域范围。读取标签内确定的待处理图像中的处理区域，其中处理区域指的是每个标签内的图像类别和/或目标类别所属的区域，也即需要对该区域进行图像处理。
进一步地，根据标签还可以确定对处理区域的调节参数，由于不同的图像类别与目标类别都预先设定有对应的调节参数，则根据确定的标签就能够获取对待处理图像的调节参数。
操作504：根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。
具体地，调节参数可以根据不同的拍摄场景进行预先设定，也可以根据用户需求自行设定。
举例说明，当得到的图像类别标签为风景类别时，可以根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度等参数；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理；当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标，当所述目标类别标签属于移动类型目标时，可以开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
在一个实施例中，根据所述至少一个标签结合预设处理策略确定调节参数，还包括：
当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度。例如，当识别出待处理图像中具有海滩时，则提升海滩的饱和度，并调节色调，以使得该海滩的色彩更鲜艳；当识别出待处理图像中具有蓝天时，则提升蓝天的饱和度，以使得蓝天的色彩更饱满；当识别出待处理图像中具有绿草时，则提高绿草的饱和度，并辅助AWB判断，以使得图像中的绿草更有生机；当识别出待处理图像中具有雪景时， 则提高AEC target，以使得图像中的雪景更梦幻。
可选地，当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。例如，当识别出待处理图像中具有夜景时，则对夜景进行多帧处理，并通过点光源辅助判断，以减少图像中夜景部分的噪点；当识别出待处理图像中的黑暗部分时，则对黑暗部分进行多帧处理；当识别出待处理图像中具有背光时，则对背光部分进行逆光HDR处理；通过上述处理方式，使得处理后的图像具有更好的观感。
在一个实施例中，如图6所示，该图像处理方法，还包括：
操作602：当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标。
具体地，移动类型目标可以包括婴儿、猫、狗等，由于针对移动类型目标进行拍摄时具有难以控制的局限性，因此对待移动类型目标的拍摄需要采取特定的拍摄方式进行拍摄。
操作604：当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
具体地，相机的自动抓拍可以理解为当相机在自动对焦完成后自动按下快门的一种拍照方式。终端在识别到前景目标为移动类型目标时，开启自动抓拍模式，则终端能够在对当前待拍摄物体进行自动拍摄，也即是在相机自动对焦完成后自动生成图像。
可选地，当终端中的处理器在识别到前景目标为移动类型目标时，还可以开启终端上的连拍模式，对待拍摄物体进行拍摄，便于捕捉到精彩的瞬间。
本实施例提供的图像处理方法，当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像，使用户在拍摄过程中能够轻松地完成对移动类型目标的拍摄，提升了用户的拍照体验。
在一个实施例中，如图7所示，在获取待处理图像之前，还包括：
操作702：处理器将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取。
操作704：处理器将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数。
操作706：处理器将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数。
操作708：处理器根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。
本实施例提供的图像处理方法，通过背景图像所属指定图像类别所对应的第一损失函数和前景目标所属指定对象类别所对应的第二损失函数的加权求和得到目标损失函数，根据目标损失函数调整神经网络的参数，使得训练的神经网络后续可以同时识别出图像分类和前景目标，获取更多的信息。
应该理解的是，虽然上述流程图中的各个操作按照箭头的指示依次显示，但是这些操作并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些操作的执行并没有严格的顺序限制，这些操作可以以其它的顺序执行。而且，图3-7的流程图中至少一部分操作可以包括多个子操作或者多个阶段，这些子操作或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子操作或者阶段的执行顺序也不必然是依次进行，而是可以与其它操作或者其它操作的子操作或者阶段的至少一部分轮流或者交替地执行。
如图8所示，在一个实施例中，提供一种图像处理装置，该装置包括：图像获取模块810、类别识别模块820和图像处理模块830。
图像获取模块810，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型。
类别识别模块820，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签。
图像处理模块830，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
上述图像处理装置，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。
在一个实施例中，类别识别模块820还用于将所述待检测图像输入到神经网络的输入层；通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层；通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度；通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。
在一个实施例中，类别识别模块820还用于根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签；根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。
在一个实施例中，图像处理模块830还用于当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数；根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。
在一个实施例中，图像处理模块830还用于当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。
在一个实施例中，图像处理模块830还用于当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标；当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
在一个实施例中，该图像处理装置还包括神经网络训练模块，用于将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取；将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数；将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将信号处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端中的处理器中，也可以以软件形式存储于终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的图像处理方法的操作。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上述各实施例中所描述的图像处理操作。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的图像处理方法。
本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示， 为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
以下为运用图9中图像处理技术实现上述图像处理方法的操作。具体的，图9中的ISP处理器940可以用来实现上述的图像处理方法：
获取待处理图像，将所述待处理图像输入到神经网络识别模型；
根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；
根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
通过该光效处理方法，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

  1. 一种图像处理方法，其特征在于，包括：
    获取待处理图像，将所述待处理图像输入到神经网络识别模型；
    根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；及
    根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，包括：
    将所述待检测图像输入到神经网络的输入层；
    通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层；
    通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度；
    通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。
  3. 根据权利要求1所述的方法，其特征在于，对所述图像类别和目标类别进行标记得到至少一个标签，包括：
    根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签；
    根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，包括：
    当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数；
    根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，还包括：
    当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度；
    当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。
  6. 根据权利要求5所述的方法，其特征在于，所述方法还包括：
    当识别出所述待处理图像中具有背光时，则对背光部分进行逆光HDR高动态范围图像处理。
  7. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    当获取表征图像前景目标的目标类别标签且所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
  8. 根据权利要求1所述的方法，其特征在于，在获取待处理图像之前，还包括：
    将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取；
    将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数；
    将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；
    根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。
  9. 一种图像处理装置，其特征在于，包括：
    图像获取模块，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型；
    类别识别模块，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；及
    图像处理模块，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
  10. 一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下操作：
    获取待处理图像，将所述待处理图像输入到神经网络识别模型；
    根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；及
    根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。
  11. 根据权利要求10所述的计算机设备，其特征在于，所述根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，包括：
    将所述待检测图像输入到神经网络的输入层；
    通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层；
    通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度；
    通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。
  12. 根据权利要求10所述的计算机设备，其特征在于，所述对所述图像类别和目标类别进行标记得到至少一个标签，包括：
    根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签；
    根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。
  13. 根据权利要求12所述的计算机设备，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，包括：
    当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数；
    根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。
  14. 根据权利要求13所述的计算机设备，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，还包括：
    当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度；
    当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。
  15. 根据权利要求14所述的计算机设备，其特征在于，所述处理器还用于：
    当识别出所述待处理图像中具有背光时，则对背光部分进行逆光HDR高动态范围图像处理。
  16. 根据权利要求13所述的计算机设备，其特征在于，所述处理器还用于：
    当获取表征图像前景目标的目标类别标签且所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。
  17. 根据权利要求10所述的计算机设备，其特征在于，所述处理器在获取待处理图 像之前还用于：
    将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取；
    将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数；
    将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；
    根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。
  18. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的操作。
PCT/CN2019/089402 2018-06-08 2019-05-31 图像处理方法、装置、计算机可读存储介质和计算机设备 WO2019233341A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810585577.1 2018-06-08
CN201810585577.1A CN108764370B (zh) 2018-06-08 2018-06-08 图像处理方法、装置、计算机可读存储介质和计算机设备

Publications (1)

Publication Number Publication Date
WO2019233341A1 true WO2019233341A1 (zh) 2019-12-12

Family

ID=63999595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/089402 WO2019233341A1 (zh) 2018-06-08 2019-05-31 图像处理方法、装置、计算机可读存储介质和计算机设备

Country Status (2)

Country Link
CN (1) CN108764370B (zh)
WO (1) WO2019233341A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160275A (zh) * 2019-12-30 2020-05-15 深圳元戎启行科技有限公司 行人重识别模型训练方法、装置、计算机设备和存储介质
CN111178202A (zh) * 2019-12-20 2020-05-19 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111368698A (zh) * 2020-02-28 2020-07-03 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111401464A (zh) * 2020-03-25 2020-07-10 北京字节跳动网络技术有限公司 分类方法、装置、电子设备及计算机可读存储介质
CN111479130A (zh) * 2020-04-02 2020-07-31 腾讯科技（深圳）有限公司 一种视频定位方法、装置、电子设备和存储介质
CN111476179A (zh) * 2020-04-10 2020-07-31 深圳市五元科技有限公司 关键目标的行为预测方法、ai追踪相机及存储介质
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111563439A (zh) * 2020-04-28 2020-08-21 北京海益同展信息科技有限公司 一种水产生物病害检测方法、装置及设备
CN111582342A (zh) * 2020-04-29 2020-08-25 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及可读存储介质
CN111680583A (zh) * 2020-05-25 2020-09-18 浙江大华技术股份有限公司 人群标记的方法、系统、计算机设备和可读存储介质
CN111695604A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像可信度的确定方法、装置及电子设备、存储介质
CN111723767A (zh) * 2020-06-29 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及计算机存储介质
CN111754474A (zh) * 2020-06-17 2020-10-09 上海眼控科技股份有限公司 一种基于图像清晰度的能见度识别的方法及设备
CN111767828A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 证件图像翻拍识别方法、装置、电子设备和存储介质
CN111885332A (zh) * 2020-07-31 2020-11-03 歌尔科技有限公司 一种视频存储方法、装置、摄像头及可读存储介质
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112200179A (zh) * 2020-10-15 2021-01-08 马婧 一种光源调节方法及装置
CN112348062A (zh) * 2020-10-26 2021-02-09 上海眼控科技股份有限公司 气象图像预测方法、装置、计算机设备和存储介质
CN112364715A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电作业异常监控方法、装置、计算机设备和存储介质
CN112529767A (zh) * 2020-12-01 2021-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN112557399A (zh) * 2020-11-30 2021-03-26 河北白沙烟草有限责任公司 一种烟机设备质量检测系统点检方法及装置
CN112818975A (zh) * 2021-01-27 2021-05-18 北京金山数字娱乐科技有限公司 文本检测模型训练方法及装置、文本检测方法及装置
CN112990245A (zh) * 2019-12-17 2021-06-18 顺丰科技有限公司 物品识别方法、装置、设备及存储介质
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113066069A (zh) * 2021-03-31 2021-07-02 深圳中科飞测科技股份有限公司 调整方法及装置、调整设备和存储介质
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
CN113537070A (zh) * 2021-07-19 2021-10-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质
CN113590778A (zh) * 2021-06-30 2021-11-02 上海一谈网络科技有限公司 智能客服意图理解方法、装置、设备及存储介质
CN113688840A (zh) * 2020-05-19 2021-11-23 武汉Tcl集团工业研究院有限公司 图像处理模型的生成方法、处理方法、存储介质及终端
CN113762520A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113884504A (zh) * 2021-08-24 2022-01-04 湖南云眼智能装备有限公司 一种电容外观检测控制方法及装置
CN114024597A (zh) * 2021-11-03 2022-02-08 浙江大学湖州研究院 一种基于神经网络模式识别的激光通信粗瞄装置
CN114092452A (zh) * 2021-11-25 2022-02-25 深圳市华胜软件技术有限公司 增强图像视觉效果的方法、装置、存储介质及终端设备
WO2022042123A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 图像识别模型生成方法、装置、计算机设备和存储介质
CN114659646A (zh) * 2020-12-07 2022-06-24 华为技术有限公司 一种测温方法、装置、设备及系统
CN114782757A (zh) * 2022-06-21 2022-07-22 北京远舢智能科技有限公司 香烟缺陷检测模型训练方法、装置、电子设备及存储介质
CN114897916A (zh) * 2022-05-07 2022-08-12 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备
CN114926973A (zh) * 2022-04-06 2022-08-19 珠海市横琴渤商数字科技有限公司 一种视频监控方法、装置、系统、服务器及可读存储介质
WO2022243766A1 (en) * 2021-05-20 2022-11-24 International Business Machines Corporation Signing and authentication of digital images and other data arrays
CN115705829A (zh) * 2021-08-05 2023-02-17 广州视源电子科技股份有限公司 分区调光控制方法、装置、终端设备和存储介质
WO2024082183A1 (zh) * 2022-10-19 2024-04-25 华为技术有限公司 参数调节方法、装置以及智能终端

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764370B (zh) * 2018-06-08 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109597912A (zh) * 2018-12-05 2019-04-09 上海碳蓝网络科技有限公司 用于处理图片的方法
CN109739414B (zh) * 2018-12-29 2021-12-14 努比亚技术有限公司 一种图片处理方法、移动终端、计算机可读存储介质
CN109840590A (zh) * 2019-01-31 2019-06-04 福州瑞芯微电子股份有限公司 一种基于神经网络的场景分类电路架构和方法
CN110163810B (zh) * 2019-04-08 2023-04-25 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及终端
CN111797986A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
CN110008922B (zh) * 2019-04-12 2023-04-18 腾讯科技（深圳）有限公司 用于终端设备的图像处理方法、设备、装置、介质
CN110110778B (zh) * 2019-04-29 2023-04-25 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110070512B (zh) * 2019-04-30 2021-06-01 秒针信息技术有限公司 图片修饰的方法及装置
CN110189386B (zh) * 2019-05-06 2023-05-26 上海联影医疗科技股份有限公司 医学图像处理方法、装置、存储介质及计算机设备
CN111950572A (zh) * 2019-05-14 2020-11-17 北京字节跳动网络技术有限公司 训练分类器的方法、装置、电子设备和计算机可读存储介质
CN110266946B (zh) * 2019-06-25 2021-06-25 普联技术有限公司 一种拍照效果自动优化方法、装置、存储介质及终端设备
CN110378946B (zh) 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN110428375B (zh) * 2019-07-24 2024-03-01 东软医疗系统股份有限公司 一种dr图像的处理方法及装置
CN110428366B (zh) * 2019-07-26 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112446398B (zh) * 2019-09-02 2024-09-10 华为技术有限公司 图像分类方法以及装置
CN110781811B (zh) * 2019-10-24 2024-08-09 腾讯科技（深圳）有限公司 异常工单识别方法、装置、可读存储介质和计算机设备
CN110796673B (zh) * 2019-10-31 2023-02-24 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN112770042B (zh) * 2019-11-05 2022-11-15 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、无线通信终端
CN110866880B (zh) * 2019-11-14 2023-04-28 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111126273B (zh) * 2019-12-24 2024-04-23 珠海奔图电子有限公司 图像处理方法、装置、电子设备以及存储介质
CN111160453B (zh) * 2019-12-27 2024-06-21 联想(北京)有限公司 一种信息处理方法、设备及计算机可读存储介质
CN111383176A (zh) * 2020-03-18 2020-07-07 北京七维视觉传媒科技有限公司 证件照片的生成方法、客户端及服务端
CN111445383B (zh) * 2020-03-20 2024-02-13 北京迈格威科技有限公司 影像参数的调节方法、装置及系统
CN111444813A (zh) * 2020-03-23 2020-07-24 北京字节跳动网络技术有限公司 目标对象的属性分类的识别方法、装置、设备及存储介质
CN113744120B (zh) * 2020-05-29 2025-01-28 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备和图像处理方法
CN112348117B (zh) * 2020-11-30 2024-07-12 腾讯科技（深圳）有限公司 场景识别方法、装置、计算机设备和存储介质
CN112712121B (zh) * 2020-12-30 2023-12-05 浙江智慧视频安防创新中心有限公司 一种图像识别模型训练方法、装置及存储介质
CN115083354A (zh) * 2021-03-16 2022-09-20 广州视源电子科技股份有限公司 背光调节方法、装置、介质以及交互平板
CN113515246A (zh) * 2021-05-17 2021-10-19 广州文石信息科技有限公司 一种电子墨水屏显示控制方法、装置、设备及存储介质
CN113313729A (zh) * 2021-05-26 2021-08-27 惠州中国科学院遥感与数字地球研究所空间信息技术研究院 单极对象图像成像方法、装置、计算机设备和存储介质
CN113283436B (zh) * 2021-06-11 2024-01-23 北京有竹居网络技术有限公司 图片处理方法、装置和电子设备
CN116468882B (zh) * 2022-01-07 2024-03-15 荣耀终端有限公司 图像处理方法、装置、设备、存储介质
CN115334234B (zh) * 2022-07-01 2024-03-29 北京讯通安添通讯科技有限公司 一种暗光环境拍摄照片补充图像信息的方法及装置
CN116168106A (zh) * 2023-02-15 2023-05-26 北京字跳网络技术有限公司 图像处理方法、装置、计算机设备以及存储介质
CN118785590B (zh) * 2024-09-02 2025-01-21 深圳市智岩科技有限公司 灯效显示方法及其装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN103810504A (zh) * 2014-01-14 2014-05-21 三星电子（中国）研发中心 一种图像处理方法和装置
CN107545536A (zh) * 2017-08-17 2018-01-05 上海展扬通信技术有限公司 一种智能终端的图像处理方法及图像处理系统
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
CN107341805B (zh) * 2016-08-19 2018-11-23 北京市商汤科技开发有限公司 图像前背景分割及网络模型训练、图像处理方法和装置
CN106845549B (zh) * 2017-01-22 2020-08-21 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN106951911B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法
CN107798653B (zh) * 2017-09-20 2019-12-24 北京三快在线科技有限公司 一种图像处理的方法和一种装置
CN107993191B (zh) * 2017-11-30 2023-03-21 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN107993209B (zh) * 2017-11-30 2020-06-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN103810504A (zh) * 2014-01-14 2014-05-21 三星电子（中国）研发中心 一种图像处理方法和装置
CN107545536A (zh) * 2017-08-17 2018-01-05 上海展扬通信技术有限公司 一种智能终端的图像处理方法及图像处理系统
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990245A (zh) * 2019-12-17 2021-06-18 顺丰科技有限公司 物品识别方法、装置、设备及存储介质
CN111178202B (zh) * 2019-12-20 2024-03-22 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111178202A (zh) * 2019-12-20 2020-05-19 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111160275B (zh) * 2019-12-30 2023-06-23 深圳元戎启行科技有限公司 行人重识别模型训练方法、装置、计算机设备和存储介质
CN111160275A (zh) * 2019-12-30 2020-05-15 深圳元戎启行科技有限公司 行人重识别模型训练方法、装置、计算机设备和存储介质
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111382781B (zh) * 2020-02-21 2023-09-12 华为云计算技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111368698A (zh) * 2020-02-28 2020-07-03 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN111368698B (zh) * 2020-02-28 2024-01-12 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN111401464A (zh) * 2020-03-25 2020-07-10 北京字节跳动网络技术有限公司 分类方法、装置、电子设备及计算机可读存储介质
CN111479130A (zh) * 2020-04-02 2020-07-31 腾讯科技（深圳）有限公司 一种视频定位方法、装置、电子设备和存储介质
CN111479130B (zh) * 2020-04-02 2023-09-26 腾讯科技（深圳）有限公司 一种视频定位方法、装置、电子设备和存储介质
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111476179B (zh) * 2020-04-10 2023-02-14 深圳市五元科技有限公司 关键目标的行为预测方法、ai追踪相机及存储介质
CN111476179A (zh) * 2020-04-10 2020-07-31 深圳市五元科技有限公司 关键目标的行为预测方法、ai追踪相机及存储介质
CN111563439B (zh) * 2020-04-28 2023-08-08 京东科技信息技术有限公司 一种水产生物病害检测方法、装置及设备
CN111563439A (zh) * 2020-04-28 2020-08-21 北京海益同展信息科技有限公司 一种水产生物病害检测方法、装置及设备
CN111582342B (zh) * 2020-04-29 2022-08-26 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及可读存储介质
CN111582342A (zh) * 2020-04-29 2020-08-25 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及可读存储介质
CN113688840A (zh) * 2020-05-19 2021-11-23 武汉Tcl集团工业研究院有限公司 图像处理模型的生成方法、处理方法、存储介质及终端
CN111695604A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像可信度的确定方法、装置及电子设备、存储介质
CN111680583B (zh) * 2020-05-25 2023-08-22 浙江大华技术股份有限公司 人群标记的方法、系统、计算机设备和可读存储介质
CN111680583A (zh) * 2020-05-25 2020-09-18 浙江大华技术股份有限公司 人群标记的方法、系统、计算机设备和可读存储介质
CN113762520A (zh) * 2020-06-04 2021-12-07 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN111754474A (zh) * 2020-06-17 2020-10-09 上海眼控科技股份有限公司 一种基于图像清晰度的能见度识别的方法及设备
CN111767828A (zh) * 2020-06-28 2020-10-13 京东数字科技控股有限公司 证件图像翻拍识别方法、装置、电子设备和存储介质
CN111767828B (zh) * 2020-06-28 2023-12-08 京东科技控股股份有限公司 证件图像翻拍识别方法、装置、电子设备和存储介质
CN111723767A (zh) * 2020-06-29 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及计算机存储介质
CN111723767B (zh) * 2020-06-29 2023-08-08 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及计算机存储介质
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN111885332A (zh) * 2020-07-31 2020-11-03 歌尔科技有限公司 一种视频存储方法、装置、摄像头及可读存储介质
WO2022042123A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 图像识别模型生成方法、装置、计算机设备和存储介质
CN112200179A (zh) * 2020-10-15 2021-01-08 马婧 一种光源调节方法及装置
CN112364715B (zh) * 2020-10-23 2024-05-24 岭东核电有限公司 核电作业异常监控方法、装置、计算机设备和存储介质
CN112364715A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电作业异常监控方法、装置、计算机设备和存储介质
CN112348062A (zh) * 2020-10-26 2021-02-09 上海眼控科技股份有限公司 气象图像预测方法、装置、计算机设备和存储介质
CN112557399A (zh) * 2020-11-30 2021-03-26 河北白沙烟草有限责任公司 一种烟机设备质量检测系统点检方法及装置
CN112557399B (zh) * 2020-11-30 2022-11-22 河北白沙烟草有限责任公司 一种烟机设备质量检测系统点检方法及装置
CN112529767A (zh) * 2020-12-01 2021-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN112529767B (zh) * 2020-12-01 2023-07-25 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN114659646A (zh) * 2020-12-07 2022-06-24 华为技术有限公司 一种测温方法、装置、设备及系统
CN112818975A (zh) * 2021-01-27 2021-05-18 北京金山数字娱乐科技有限公司 文本检测模型训练方法及装置、文本检测方法及装置
CN113012176B (zh) * 2021-03-17 2023-12-15 阿波罗智联(北京)科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113066069A (zh) * 2021-03-31 2021-07-02 深圳中科飞测科技股份有限公司 调整方法及装置、调整设备和存储介质
WO2022243766A1 (en) * 2021-05-20 2022-11-24 International Business Machines Corporation Signing and authentication of digital images and other data arrays
US11720991B2 (en) 2021-05-20 2023-08-08 International Business Machines Corporation Signing and authentication of digital images and other data arrays
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
CN113590778A (zh) * 2021-06-30 2021-11-02 上海一谈网络科技有限公司 智能客服意图理解方法、装置、设备及存储介质
CN113537070A (zh) * 2021-07-19 2021-10-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质
CN113537070B (zh) * 2021-07-19 2022-11-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质
CN115705829A (zh) * 2021-08-05 2023-02-17 广州视源电子科技股份有限公司 分区调光控制方法、装置、终端设备和存储介质
CN113884504A (zh) * 2021-08-24 2022-01-04 湖南云眼智能装备有限公司 一种电容外观检测控制方法及装置
CN114024597A (zh) * 2021-11-03 2022-02-08 浙江大学湖州研究院 一种基于神经网络模式识别的激光通信粗瞄装置
CN114092452A (zh) * 2021-11-25 2022-02-25 深圳市华胜软件技术有限公司 增强图像视觉效果的方法、装置、存储介质及终端设备
CN114926973A (zh) * 2022-04-06 2022-08-19 珠海市横琴渤商数字科技有限公司 一种视频监控方法、装置、系统、服务器及可读存储介质
CN114897916A (zh) * 2022-05-07 2022-08-12 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备
CN114782757A (zh) * 2022-06-21 2022-07-22 北京远舢智能科技有限公司 香烟缺陷检测模型训练方法、装置、电子设备及存储介质
WO2024082183A1 (zh) * 2022-10-19 2024-04-25 华为技术有限公司 参数调节方法、装置以及智能终端

Also Published As

Publication number Publication date
CN108764370A (zh) 2018-11-06
CN108764370B (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
WO2019233341A1 (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
WO2019233394A1 (zh) 图像处理方法和装置、存储介质、电子设备
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
US11233933B2 (en) Method and device for processing image, and mobile terminal
WO2019237887A1 (zh) 图像处理方法、电子设备、计算机可读存储介质
WO2019233297A1 (zh) 数据集的构建方法、移动终端、可读存储介质
CN108777815B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108805103B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020015470A1 (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108961302B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2019233266A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
WO2019233355A1 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
WO2019233262A1 (zh) 视频处理方法、电子设备、计算机可读存储介质
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN108984657B (zh) 图像推荐方法和装置、终端、可读存储介质
WO2019233392A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2019233260A1 (zh) 广告信息推送方法和装置、存储介质、电子设备
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110572573A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108764321B (zh) 图像识别方法和装置、电子设备、存储介质
CN108848306B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107743200A (zh) 拍照的方法、装置、计算机可读存储介质和电子设备
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19815593

Country of ref document: EP

Kind code of ref document: A1