CN113596344A - 拍摄处理方法、装置、电子设备和可读存储介质 - Google Patents
拍摄处理方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN113596344A CN113596344A CN202110845512.8A CN202110845512A CN113596344A CN 113596344 A CN113596344 A CN 113596344A CN 202110845512 A CN202110845512 A CN 202110845512A CN 113596344 A CN113596344 A CN 113596344A
- Authority
- CN
- China
- Prior art keywords
- light source
- image
- shooting
- frame rate
- appearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种拍摄处理方法、装置、电子设备和可读存储介质,属于拍摄技术领域。其中,拍摄处理方法包括:基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;查询光源的类别对应的光源频率;根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除;使用计算得到的拍摄帧率拍摄。
Description
技术领域
本申请属于拍摄技术领域,具体涉及一种拍摄处理方法、装置、电子设备和可读存储介质。
背景技术
由于交流电源的能量随着时间产生周期性变化,当光源工作在此类电源下时,若拍摄设备的曝光频率与光源频率不匹配,则拍摄图像时会存在由曝光过程中的光强差异带来的明暗变化。具体来说,目前手机或者其它具有摄像功能的电子设备大部分使用的是电子传感器采集图像,快门则是电子快门,采用卷帘式的逐行曝光策略,这种策略会使得图像中行与行之间的图像采集存在时间差,进而由于光源在不同时刻的能量差,在图像中产生行与行的明暗变化,导致拍摄图像中出现频闪条纹,导致拍摄视频发生频闪条纹的滚动现象。目前消除频闪条纹的解决方案通常是拍摄多张图像,通过后期处理将多张图像进行合成以消除条纹,这种方案无法在预览时就观察到消除频闪条纹后的成像。
发明内容
本申请实施例的目的是提供一种拍摄处理方法、装置、电子设备和可读存储介质,能够解决相关技术中通过后期处理手段消除频闪条纹的方法无法预览的问题。
第一方面,本申请实施例提供了一种拍摄处理方法,该方法包括:
基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;
查询出现的光源的类别对应的光源频率;
根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除;
使用计算得到的拍摄帧率拍摄。
第二方面,本申请实施例提供了一种拍摄处理装置,该装置包括:
识别模块,用于基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;
查询模块,用于查询出现的光源对应的光源频率;
第一计算模块,用于根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除;
拍摄模块,用于使用计算得到的拍摄帧率拍摄。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的拍摄处理方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的拍摄处理方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的拍摄处理方法。
在本申请实施例中,通过多种已知光源所呈现出的图像特征的不同,来识别当前摄像头取景里出现的光源类别,接着,可以查询出现的光源类别所对应的光源频率,进而,可以将拍摄帧率调整为使得光源频率的2倍能够被拍摄帧率整除,这样,使用调整拍摄帧率之后的摄像头进行拍摄,就可以有效的消除图像中由于光源造成的频闪条纹,从而在预览时就可以观察到消除频闪条纹的成像,解决了相关技术中通过后期处理手段消除频闪条纹的方法无法预览的问题。
附图说明
图1是本申请实施例提供的一种可选的拍摄处理方法的流程示意图;
图2是本申请实施例提供的一种可选的目标检测模型的模块示意图;
图3是本申请实施例提供的一种可选的拍摄处理方法中识别光源发光状态的示意图;
图4是本申请实施例提供的一种可选的拍摄处理装置的示意图;
图5是本申请实施例提供的一种可选的电子设备的示意图;
图6是本申请实施例提供的另一种可选的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄处理方法进行详细地说明。
本申请实施例提供的拍摄处理方法可以应用于减轻或消除由交流光源导致的拍摄画面中出现频闪条纹的情况。如图1所示,本申请实施例提供的拍摄处理方法可以包括如下步骤:
步骤101,基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源。
本申请实施例中的多种光源包括由交流电源供电从而发光的设备,例如荧光灯、灯管、电脑显示屏、电视显示屏、手机显示屏等等。由于光源的形状、功率不同,因此,不同已知光源在图像中成像的形状、亮度不同,不同频率的光源产生的频闪条纹的亮度、宽度、间隔等也不同。基于此,可以在图像中根据光源和频闪条纹呈现出的图像特征识别出光源类别。
在识别光源时,可以通过预先训练好的图像识别模型进行识别,这样,针对多种光源对图像识别模型进行训练,可以使得图像识别模型学习到每种类别光源所呈现出的图像特征,图像识别模型训练所使用的多种光源就是图像识别模型所已知的多种光源。
多种已知光源可以包括至少两种以上类别的光源,例如,荧光灯(30HZ、50HZ、60HZ、90HZ);灯管(30HZ、50HZ、60HZ、90HZ);电脑显示屏(30HZ、50HZ、60HZ、90HZ),电视显示屏(30HZ、50HZ、60HZ、90HZ)等等多类别别的光源,每类别别光源的频率是不同的。可选地,训练的方式可以是深度学习,图像识别模型可以是神经网络模型、分类器、聚类模型等等。
一个示例中,可以使用预先训练的目标检测模型识别光源。其中,目标检测模型被预先训练为在预设的(即已知的)多种光源中识别被测图像中出现的光源。
示例性地,目标检测模型可以选择SSD(Single Shot MultiBox Detector,单发探测器)模型。SSD模型属于一种单阶段的目标检测模型,可以直接从图像特征图回归出检测目标所在区域的边界框和该区域包含检测目标的概率。SSD运用了这种单阶段检测的思想,并且能够将图像划分为不同尺度的网格,基于不同尺度的网格划分提取对应尺度的特征,生成对应尺度的特征度,从而在不同尺度的特征图上检测对应尺度的目标。
可选地,SSD模型的主干网络可以选择使用VGG16卷积网络。VGG16卷积网络共有16个层,这也是VGG16名称的由来,这是一个深度的卷积神经网络,采用了5段卷积,每一段有一个或多个卷积层。同时每一段的尾部都接着一个最大池化层来缩小图片尺寸。每一段内的卷积核数量一致,越靠后的卷积核数量越多,具体来说,卷积和数量的变化为:64->128->256->512->512。
步骤102,查询出现的光源的类别对应的光源频率。
每种光源类别预设有对应的光源频率,在图像中识别出光源的类别之后,可以根据预设对应关系查询光源频率。其中,每种光源类别的频率是已知的,预设对应关系用于表示多种已知光源及其频率的对应关系。
例如,如果在图像中识别出光源是N种光源中的第i种光源,查询预设对应关系后确定第i种光源是60HZ的电脑显示屏,这样,可以确定光源频率为60HZ。
步骤103,根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除。
拍摄帧率可以用单位fps表示,即每秒帧数(frames per second),拍摄帧率是曝光快门时长的倒数。
举例来说,如果图像中出现的光源的频率是60HZ,那么,光源频率的2倍是120HZ,可以选择的拍摄帧率可以选择:60fps,40fps,30fps,20fps,15fps等等,这些拍摄帧率都可以将光源频率的2倍整除;相应地,曝光快门时长可以选择:1/60S,1/40S,1/30S,1/20S,1/15S等等。
步骤104,使用计算得到的拍摄帧率拍摄。
在计算得到拍摄帧率之后,将摄像头的拍摄帧率的参数设置为计算得到的拍摄帧率数值,这样,通过对拍摄帧率的设置,可以消除拍摄时预览图像中的频闪条纹和拍摄之后照片中的频闪条纹。
本申请实施例提供的拍摄处理方法,通过多种已知光源所呈现出的图像特征的不同,来识别当前摄像头取景里出现的光源类别,接着,可以查询出现的光源类别所对应的光源频率,进而,可以将拍摄帧率调整为使得光源频率的2倍能够被拍摄帧率整除,这样,使用调整拍摄帧率之后的摄像头进行拍摄,就可以有效的消除图像中由于光源造成的频闪条纹,从而在预览时就可以观察到消除频闪条纹的成像,解决了相关技术中通过后期处理手段消除频闪条纹的方法无法预览的问题。
此外,由于调整的拍摄帧率只要其2倍能够被光源频率整除即可,因此,拍摄帧率可以在多个数值之中选择,灵活性较强,通过调整拍摄帧率来消除频闪条纹,可以避免相关技术中通过拍摄多张图像进行后期处理的消除频闪条纹方案可能会造成成像模糊、等待时间较长的问题,能够在预览框中就消除频闪条纹,并且无需额外增加检测光源的硬件模块,在不增加硬件成本的同时提高了为了消除频闪的拍摄体验。
一个示例中,上述的目标检测模型可以通过以下循环地执行以下步骤1~3进行训练而获得:
步骤1,获取光源样本图像。
其中,光源样本图像中出现的光源及其所在的区域为已知信息。可以预先准备多种光源的图像样本,例如,荧光灯(30HZ、50HZ、60HZ、90HZ);灯管(30HZ、50HZ、60HZ、90HZ);电脑显示屏(30HZ、50HZ、60HZ、90HZ),电视显示屏(30HZ、50HZ、60HZ、90HZ)等等多种不同频率、不同类别的光源。一个光源样本图像可以是对一种光源照明的场景进行拍摄得到的,光源样本图像中光源所在区域可以通过人工或自动识别的方式进行标记,示例性地,可以通过其它普适性的图像识别模型对图像中出现的光源进行标记。
步骤2,通过目标检测模型,计算光源样本图像中出现每种光源的区域和置信度。
在循环训练的首次训练时,也即,第一次选用一张光源样本图像对目标检测模型进行训练时,目标检测模型的模型参数可以是初始设置值,在第二次及以后次的训练时,目标检测模型的模型参数可以是上一次训练之后更新的模型参数。
以目标检测模型为SSD模型为例,在每一次训练时,将一张光源样本图像输入至SSD模型。
首先,SSD模型可以对输入的图像设置不同尺寸的先验框,生成对应的特征映射图。通过不同尺寸的先验框,可以匹配不同形状和大小的光源。
接着,生成的特征映射图经过SSD模型的预测卷积层转换,可以得到用于区分不同类别光源的预测框,以及预测框内对应类别光源的置信度。置信度越高,表示目标检测模型认为图像中出现的光源越有可能是对应类别的光源。
最后,可以通过类别损失函数和分类损失函数更新SSD模型的参数,完成一次训练。经过多次训练之后,得到最优的分类模型。损失函数用于确定目标检测模型计算得到的结果与已知信息之间的差异。根据差异可以更新目标检测模型的模型参数。通过多次迭代,使用多个光源样本图像进行优化地训练,可以使目标检测模型的模型参数优化至识别准确率更高,达到目标准确率或者达到训练结束条件(例如已经训练达到指定次数)之后,停止训练,得到目标检测模型。
如图2所示为一种可选的目标检测模型的模块示意图,输入层用于接收输入的图像,接着进入卷积层进行卷积,其中,卷积层可以使用上述的VGG16卷积网络结构,然后,进入全连接层,最后输出每个具体类别光源的置信度,及识别出光源的区域。
在使用预先训练的目标检测模型识别光源时,将摄像头拍摄到的图像输入至目标检测模型,从而得到目标检测模型计算出的图像中出现每种已知光源的置信度,可以选择置信度最高的光源作为识别到的光源。
可选地,为了进一步地确定图像中识别到的光源是处于发光状态,可以判断在图像中出现的光源是否处于发光状态之后,如果确定在图像中出现的光源处于发光状态,再使用计算得到的拍摄帧率拍摄,否则,如果图像中出现的光源未处于发光状态,则可以不对拍摄帧率进行设置。
进一步地,在判断在图像中出现的光源是否处于发光状态时,可以将图像中识别出光源的第一区域与第一区域周围的第二区域进行亮度对比,从而,根据对比结果判断光源是否处于发光状态。
这里,第一区域是包含图像中出现光源的区域,第二区域是第一区域周围的区域,例如,第二区域可以是围绕第一区域的、预设宽度的环状区域。
举例来说,如图3所示的区域301是识别出光源的第一区域,第一区域周围的第二区域包括区域302~305,这里,第二区域可以包括分别向上/下扩张L/n的区域305和区域304,以及分别向左/右扩张W/m的区域302和区域303,其中,L、W是区域301的长度和宽度,n和m为预设的分母数值。一个示例中,可以分别统计每个区域的平均亮度,如果区域301的平均亮度大于区域302~305之中三个区域的平均亮度,则可以认为光源是正常上电使用、处于发光状态中的。
在一种情况中,在图像中出现的光源可能是多个,这样,可以在出现的多个光源中选择一个比较重要的光源作为主光源,基于主光源的频率来计算摄像头的拍摄帧率。具体而言,在根据光源频率计算摄像头的拍摄帧率之前,可以确定多个光源中每个光源在图像中的重要度,然后在多个光源中选择重要度最高的光源作为主光源。
这里,重要度可以是根据预设公式计算的,重要度可以与光源的类别、亮度、在图像中所占的面积有关。一个示例中,在确定多个光源在图像中的重要度时,可以根据每个光源对应的光源类别的预设权重系数、光源所在区域与图像中心点的距离、以及光源所在区域的面积,计算对应光源的重要度。
举例而言,重要度的计算公式可以是C=Pi*F(Distance)*F(Area)。
其中,Pi是出现的第i中光源的权重值。由于荧光灯和灯管从光源能量来比要比电脑显示屏和电视机的能量要大,因此对图像中频闪条纹的影响更大一些,因此,可以将荧光灯和灯管的权重值设置为大于电脑显示屏和电视机的权重值,示例性地,采用如下权重值:P_荧光灯=P_灯管=0.8,P_电脑显示屏=P_电视机显示屏=0.3。
F(Distance)=(K1-Distance)/(Distance);其中Distance代表的是检测出来的电源设备的长方体区域大小的中心点到拍摄图片的中心之间的距离。K1代表拍摄图片的最大长度。
F(Area)=(Area)/K2;其中Area代表的是检测出来的电源设备的长方体区域面积。K2代表拍摄图片的面积。
在计算图像中所有类别光源的重要度C之后,可以选取C值最大的光源作为主光源。这样,通过选取一个主光源作为计算拍摄帧率的依据,可以对影响图像成像的主要因素消除干扰,减轻拍摄出现的频闪条纹。
需要说明的是,本申请实施例提供的拍摄处理方法,执行主体可以为拍摄处理装置,或者该拍摄处理装置中的用于执行拍摄处理方法的控制模块。本申请实施例中以拍摄处理装置执行拍摄处理方法为例,说明本申请实施例提供的拍摄处理装置。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄处理装置进行详细地说明。在本申请实施例提供的拍摄处理装置中未详述的内容,可以参考本申请实施例提供的拍摄处理方法,在此不再赘述。
如图4所示,本申请实施例提供的拍摄处理装置可以包括识别模块401、查询模块402、第一计算模块403和拍摄模块404。
其中,识别模块401用于基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别,查询模块402用于查询出现的光源的类别对应的光源频率,第一计算模块403用于根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除,拍摄模块404用于使用计算得到的拍摄帧率拍摄。
可选地,拍摄模块404可以包括:
判断单元,用于判断在图像中出现的光源是否处于发光状态;
拍摄单元,用于在图像中出现的光源处于发光状态的情况下,使用计算得到的拍摄帧率拍摄。
进一步地,判断单元可以包括:
确定子单元,用于在图像中确定第一区域和第二区域;其中,第一区域为包含图像中出现的光源的区域,第二区域为第一区域周围的区域;
对比子单元,用于将第一区域与第二区域进行亮度对比;
判断子单元,用于根据对比结果判断光源是否处于发光状态。
可选地,在识别摄像头拍摄到的图像中出现的光源包括多个光源的情况下,该装置还可以包括:
确定模块,用于在根据光源频率计算摄像头的拍摄帧率之前,确定多个光源在图像中的重要度;
选择模块,用于在多个光源中选择重要度最高的光源作为主光源;
第一计算模块还用于根据主光源的光源频率计算摄像头的拍摄帧率。
进一步地,确定模块还可以根据图像中出现的每个光源的类别对应的预设权重系数、光源所在区域与图像中心点的距离、以及光源所在区域的面积,计算对应光源的重要度。
可选地,识别模块还可以使用预先训练的目标检测模型检测图像中出现的光源,其中,目标检测模型被预先训练为在多种已知光源中识别被测图像中出现的光源的类别;
相应地,查询模块还用于根据预设对应关系,确定图像中出现的光源的类别所对应的频率,得到光源频率,其中,预设对应关系用于表示多种已知光源及其频率的对应关系。
在一个示例中,该装置还可以包括以下模块以循环地训练获得目标检测模型:
获取模块,用于获取光源样本图像,其中,光源样本图像中出现的光源的类别及其所在的区域为已知信息;
第二计算模块,用于通过目标检测模型,计算光源样本图像中出现每种光源的区域和置信度;
更新模块,用于根据损失函数更新目标检测模型的模型参数,其中,损失函数用于确定目标检测模型计算得到的结果与已知信息之间的差异。
本申请实施例提供的拍摄处理装置,通过多种已知光源所呈现出的图像特征的不同,来识别当前摄像头取景里出现的光源类别,接着,可以查询出现的光源类别所对应的光源频率,进而,可以将拍摄帧率调整为使得光源频率的2倍能够被拍摄帧率整除,这样,使用调整拍摄帧率之后的摄像头进行拍摄,就可以有效的消除图像中由于光源造成的频闪条纹,从而在预览时就可以观察到消除频闪条纹的成像,解决了相关技术中通过后期处理手段消除频闪条纹的方法无法预览的问题。
本申请实施例中的拍摄处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的拍摄处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的拍摄处理装置能够实现图1至图3的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图5所示,本申请实施例还提供一种电子设备900,包括处理器901,存储器902,存储在存储器902上并可在所述处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述拍摄处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1010可以基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;查询光源的类别对应的光源频率;根据光源频率计算摄像头的拍摄帧率,使得光源频率的2倍能够被拍摄帧率整除;使用计算得到的拍摄帧率拍摄。
可选地,处理器1010使用计算得到的拍摄帧率拍摄的步骤,可以包括如下步骤:
判断在图像中出现的光源是否处于发光状态;
在图像中出现的光源处于发光状态的情况下,使用计算得到的拍摄帧率拍摄。
可选地,处理器1010判断在图像中出现的光源是否处于发光状态的步骤可以包括如下步骤:
在图像中确定第一区域和第二区域;其中,第一区域为包含图像中出现的光源的区域,第二区域为第一区域周围的区域;将第一区域与第二区域进行亮度对比;根据对比结果判断光源是否处于发光状态。可选地,处理器1010在识别摄像头拍摄到的图像中出现的光源包括多个光源的情况下,还可以在根据光源频率计算摄像头的拍摄帧率之前,确定多个光源在图像中的重要度,然后,在多个光源中选择重要度最高的光源作为主光源;相应地,处理器1010执行根据光源频率计算摄像头的拍摄帧率的步骤,可以是根据主光源的光源频率计算摄像头的拍摄帧率。
可选地,处理器1010在确定多个光源在图像中的重要度时,可以根据每个光源的光源类别对应的预设权重系数、光源所在区域与图像中心点的距离、以及光源所在区域的面积,计算对应光源的重要度。
一个示例中,处理器1010在基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别时,可以使用预先训练的目标检测模型检测图像中出现的光源,其中,目标检测模型被预先训练为在多种已知光源中识别被测图像中出现的光源,这样,处理器1010在查询出现的光源对应的光源频率时,可以根据预设对应关系,确定图像中出现的光源的类别所对应的频率,得到光源频率,其中,预设对应关系用于表示多种已知光源及其频率的对应关系。
进一步地,处理器1010可以通过以下步骤循环地训练获得上述的目标检测模型:
获取光源样本图像,其中,光源样本图像中出现的光源的类别及其所在的区域为已知信息;
通过目标检测模型,计算光源样本图像中出现每种光源的区域和置信度;
根据损失函数更新目标检测模型的模型参数,其中,损失函数用于确定目标检测模型计算得到的结果与已知信息之间的差异。
本申请实施例提供的电子设备,通过多种已知光源所呈现出的图像特征的不同,来识别当前摄像头取景里出现的光源类别,接着,可以查询出现的光源类别所对应的光源频率,进而,可以将拍摄帧率调整为使得光源频率的2倍能够被拍摄帧率整除,这样,使用调整拍摄帧率之后的摄像头进行拍摄,就可以有效的消除图像中由于光源造成的频闪条纹,从而在预览时就可以观察到消除频闪条纹的成像,解决了相关技术中通过后期处理手段消除频闪条纹的方法无法预览的问题。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元1007包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述拍摄处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述拍摄处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种拍摄处理方法,其特征在于,所述方法包括:
基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;
查询所述光源的类别对应的光源频率;
根据所述光源频率计算所述摄像头的拍摄帧率,使得所述光源频率的2倍能够被所述拍摄帧率整除;
使用计算得到的拍摄帧率拍摄。
2.根据权利要求1所述的方法,其特征在于,所述使用计算得到的拍摄帧率拍摄,包括:
判断在所述图像中出现的光源是否处于发光状态;
在所述图像中出现的光源处于所述发光状态的情况下,使用计算得到的拍摄帧率拍摄。
3.根据权利要求2所述的方法,其特征在于,所述判断在所述图像中出现的光源是否处于发光状态,包括:
在所述图像中确定第一区域和第二区域;其中,所述第一区域为包含所述图像中出现的光源的区域,所述第二区域为所述第一区域周围的区域;
将所述第一区域与所述第二区域进行亮度对比;
根据对比结果判断所述光源是否处于所述发光状态。
4.根据权利要求1所述的方法,其特征在于,在识别所述摄像头拍摄到的图像中出现的光源包括多个光源的情况下,在根据所述光源频率计算所述摄像头的拍摄帧率之前,还包括:
确定所述多个光源在所述图像中的重要度;
在所述多个光源中选择所述重要度最高的光源作为主光源;
所述根据所述光源频率计算所述摄像头的拍摄帧率,包括:根据所述主光源的光源频率计算所述摄像头的拍摄帧率。
5.根据权利要求4所述的方法,其特征在于,所述确定所述多个光源在所述图像中的重要度,包括:
根据所述图像中出现的每个光源的类别对应的预设权重系数、所述光源所在区域与图像中心点的距离、以及所述光源所在区域的面积,计算对应光源的所述重要度。
6.根据权利要求1所述的方法,其特征在于,所述基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别,包括:
使用预先训练的目标检测模型检测所述图像中出现的光源,其中,所述目标检测模型被预先训练为在多种已知光源中识别被测图像中出现的光源的类别;
所述查询所述出现的光源对应的光源频率,包括:根据预设对应关系,确定所述图像中出现的光源的类别所对应的频率,得到所述光源频率,其中,所述预设对应关系用于表示所述多种已知光源及其频率的对应关系。
7.根据权利要求6所述的方法,其特征在于,所述目标检测模型通过以下方式循环地训练获得:
获取光源样本图像,其中,所述光源样本图像中出现的光源的类别及其所在的区域为已知信息;
通过所述目标检测模型,计算所述光源样本图像中出现每种光源的区域和置信度;
根据损失函数更新所述目标检测模型的模型参数,其中,所述损失函数用于确定所述目标检测模型计算得到的结果与所述已知信息之间的差异。
8.一种拍摄处理装置,其特征在于,所述装置包括:
识别模块,用于基于多种已知光源的图像特征,识别摄像头拍摄到的图像中出现的光源的类别;
查询模块,用于查询所述出现的光源的类别对应的光源频率;
第一计算模块,用于根据所述光源频率计算所述摄像头的拍摄帧率,使得所述光源频率的2倍能够被所述拍摄帧率整除;
拍摄模块,用于使用计算得到的拍摄帧率拍摄。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的拍摄处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的拍摄处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110845512.8A CN113596344B (zh) | 2021-07-26 | 2021-07-26 | 拍摄处理方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110845512.8A CN113596344B (zh) | 2021-07-26 | 2021-07-26 | 拍摄处理方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113596344A true CN113596344A (zh) | 2021-11-02 |
CN113596344B CN113596344B (zh) | 2023-10-24 |
Family
ID=78250222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110845512.8A Active CN113596344B (zh) | 2021-07-26 | 2021-07-26 | 拍摄处理方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113596344B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114268703A (zh) * | 2021-12-27 | 2022-04-01 | 安徽淘云科技股份有限公司 | 一种扫描屏幕时的成像调节方法、装置、存储介质及设备 |
CN114354138A (zh) * | 2021-12-30 | 2022-04-15 | 杭州电子科技大学 | 一种基于图像处理的屏幕频闪检测系统及方法 |
CN116112768A (zh) * | 2023-01-04 | 2023-05-12 | 歌尔股份有限公司 | 一种抗光干扰摄像装置及电子设备 |
WO2023093281A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 图像处理及模型训练方法及电子设备 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276218A (zh) * | 2008-04-29 | 2008-10-01 | 上海交通大学 | 针对高实时性图像采集与处理的机器视觉系统 |
CN102780845A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种光源交替频闪同步摄像方法及视觉检测系统 |
US20160219206A1 (en) * | 2015-01-28 | 2016-07-28 | Canon Kabushiki Kaisha | Light emission control device, control method therefor, storage medium storing control program therefor, and image pickup apparatus with light emission control device |
CN106597374A (zh) * | 2016-11-09 | 2017-04-26 | 北京大学 | 一种基于摄像帧分析的室内可见光定位方法及系统 |
CN106973239A (zh) * | 2016-01-13 | 2017-07-21 | 三星电子株式会社 | 图像捕获设备和操作该图像捕获设备的方法 |
US20190289191A1 (en) * | 2016-12-28 | 2019-09-19 | Olympus Corporation | Imaging device and flicker detection method |
US20200007737A1 (en) * | 2018-06-29 | 2020-01-02 | Canon Kabushiki Kaisha | Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, and storage medium |
CN110661982A (zh) * | 2019-09-27 | 2020-01-07 | 思特威(上海)电子科技有限公司 | 图像传感器成像中led频闪抑制的方法 |
CN110781823A (zh) * | 2019-10-25 | 2020-02-11 | 北京字节跳动网络技术有限公司 | 录屏检测方法、装置、可读介质及电子设备 |
CN110930372A (zh) * | 2019-11-06 | 2020-03-27 | 维沃移动通信有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
CN111010530A (zh) * | 2018-10-05 | 2020-04-14 | 大陆汽车有限责任公司 | 应急车辆检测 |
WO2020093651A1 (zh) * | 2018-11-09 | 2020-05-14 | 浙江宇视科技有限公司 | 自动检测和抑制条纹的方法及装置、电子设备及计算机可读存储介质 |
CN112180922A (zh) * | 2020-09-24 | 2021-01-05 | 南京苏美达智能技术有限公司 | 一种基于光学的自行走设备识别方法和自行走设备 |
CN112183373A (zh) * | 2020-09-29 | 2021-01-05 | 豪威科技(上海)有限公司 | 光源识别方法、装置、终端设备及计算机可读存储介质 |
CN112179508A (zh) * | 2020-09-30 | 2021-01-05 | 北京小米移动软件有限公司 | 环境光频率获取方法和装置、电子设备、存储介质 |
CN112532888A (zh) * | 2019-09-19 | 2021-03-19 | 杭州海康慧影科技有限公司 | 一种抑制图像横纹现象的方法及装置 |
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
-
2021
- 2021-07-26 CN CN202110845512.8A patent/CN113596344B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276218A (zh) * | 2008-04-29 | 2008-10-01 | 上海交通大学 | 针对高实时性图像采集与处理的机器视觉系统 |
CN102780845A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种光源交替频闪同步摄像方法及视觉检测系统 |
US20160219206A1 (en) * | 2015-01-28 | 2016-07-28 | Canon Kabushiki Kaisha | Light emission control device, control method therefor, storage medium storing control program therefor, and image pickup apparatus with light emission control device |
CN106973239A (zh) * | 2016-01-13 | 2017-07-21 | 三星电子株式会社 | 图像捕获设备和操作该图像捕获设备的方法 |
CN106597374A (zh) * | 2016-11-09 | 2017-04-26 | 北京大学 | 一种基于摄像帧分析的室内可见光定位方法及系统 |
US20190289191A1 (en) * | 2016-12-28 | 2019-09-19 | Olympus Corporation | Imaging device and flicker detection method |
US20200007737A1 (en) * | 2018-06-29 | 2020-01-02 | Canon Kabushiki Kaisha | Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, and storage medium |
CN111010530A (zh) * | 2018-10-05 | 2020-04-14 | 大陆汽车有限责任公司 | 应急车辆检测 |
WO2020093651A1 (zh) * | 2018-11-09 | 2020-05-14 | 浙江宇视科技有限公司 | 自动检测和抑制条纹的方法及装置、电子设备及计算机可读存储介质 |
CN112532888A (zh) * | 2019-09-19 | 2021-03-19 | 杭州海康慧影科技有限公司 | 一种抑制图像横纹现象的方法及装置 |
CN110661982A (zh) * | 2019-09-27 | 2020-01-07 | 思特威(上海)电子科技有限公司 | 图像传感器成像中led频闪抑制的方法 |
CN110781823A (zh) * | 2019-10-25 | 2020-02-11 | 北京字节跳动网络技术有限公司 | 录屏检测方法、装置、可读介质及电子设备 |
CN110930372A (zh) * | 2019-11-06 | 2020-03-27 | 维沃移动通信有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
CN112180922A (zh) * | 2020-09-24 | 2021-01-05 | 南京苏美达智能技术有限公司 | 一种基于光学的自行走设备识别方法和自行走设备 |
CN112183373A (zh) * | 2020-09-29 | 2021-01-05 | 豪威科技(上海)有限公司 | 光源识别方法、装置、终端设备及计算机可读存储介质 |
CN112179508A (zh) * | 2020-09-30 | 2021-01-05 | 北京小米移动软件有限公司 | 环境光频率获取方法和装置、电子设备、存储介质 |
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023093281A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 图像处理及模型训练方法及电子设备 |
CN114268703A (zh) * | 2021-12-27 | 2022-04-01 | 安徽淘云科技股份有限公司 | 一种扫描屏幕时的成像调节方法、装置、存储介质及设备 |
CN114354138A (zh) * | 2021-12-30 | 2022-04-15 | 杭州电子科技大学 | 一种基于图像处理的屏幕频闪检测系统及方法 |
CN116112768A (zh) * | 2023-01-04 | 2023-05-12 | 歌尔股份有限公司 | 一种抗光干扰摄像装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113596344B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113596344B (zh) | 拍摄处理方法、装置、电子设备和可读存储介质 | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
CN105979125A (zh) | 一种基于屏幕补光的拍照方法及系统 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN113688820B (zh) | 频闪条带信息识别方法、装置和电子设备 | |
JP2007265125A (ja) | コンテンツ表示装置 | |
CN104349080B (zh) | 一种图像处理方法及电子设备 | |
CN113592754B (zh) | 图像生成的方法和电子设备 | |
CN109327691B (zh) | 图像拍摄方法、装置、存储介质及移动终端 | |
CN111654643B (zh) | 曝光参数确定方法、装置、无人机和计算机可读存储介质 | |
CN113163128A (zh) | 图像曝光方法和电子设备 | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN113709368A (zh) | 图像显示方法、装置及设备 | |
CN104869319A (zh) | 影像处理方法及影像处理装置 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
CN105120153B (zh) | 一种图像拍摄方法及装置 | |
CN112887615B (zh) | 拍摄的方法及装置 | |
CN111654640B (zh) | 曝光调整方法、装置及电子设备 | |
JP2009123150A (ja) | 対象物検出装置及び方法、対象物検出システム、プログラム | |
CN113395599A (zh) | 一种视频处理方法、装置、电子设备及介质 | |
US10154196B2 (en) | Adjusting length of living images | |
CN112367464A (zh) | 图像输出方法、装置及电子设备 | |
US20230164446A1 (en) | Imaging exposure control method and apparatus, device and storage medium | |
CN113901898B (zh) | 人脸识别场景下图像稳定采样方法、装置、设备及介质 | |
CN116916164A (zh) | 图像频闪处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |