CN117479025A - 视频处理方法、视频处理装置、电子设备及介质 - Google Patents
视频处理方法、视频处理装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117479025A CN117479025A CN202311550337.5A CN202311550337A CN117479025A CN 117479025 A CN117479025 A CN 117479025A CN 202311550337 A CN202311550337 A CN 202311550337A CN 117479025 A CN117479025 A CN 117479025A
- Authority
- CN
- China
- Prior art keywords
- video frame
- image
- camera module
- video
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 109
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 62
- 238000007499 fusion processing Methods 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 description 43
- 230000007704 transition Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000903 blocking effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004090 dissolution Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种视频处理方法、视频处理装置、电子设备及介质,属于视频数据处理技术领域。视频处理方法应用于电子设备,所述电子设备包括:第一摄像模组和第二摄像模组,视频处理方法包括:在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;截取所述第二视频帧中的第一区域图像;对所述第一视频帧和所述第一区域图像进行图像融合处理,得到第三视频帧。
Description
技术领域
本申请属于视频数据处理技术领域,具体涉及一种视频处理方法、视频处理装置、电子设备及介质。
背景技术
为了满足人们逐渐提高的拍摄需求,配备有多个摄像模组的移动终端逐渐普及。其中,多个摄像模组中每个摄像模组的镜头可以具有不同的焦距,以用于不同焦段的变焦拍摄。
然而,在采用配备有多个摄像模组的移动终端进行视频拍摄的过程中,不可避免的存在需要采用不同的摄像模组进行切换拍摄的场景。但是,不同的摄像模组的配置通常不同。例如,不同的摄像模组对应的图像传感器不同、安装位置不同等。这些差异可能会在摄像模组的切换拍摄过程中导致视频拍摄画面出现抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,导致视频拍摄效果较差。
发明内容
本申请实施例的目的是提供一种视频处理方法、视频处理装置和电子设备,能够解决目前摄像模组的切换拍摄过程中出现的画面问题。
第一方面,本申请实施例提供了一种视频处理方法,应用于电子设备,所述电子设备包括:第一摄像模组和第二摄像模组,所述方法包括:
在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;
截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;
对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
第二方面,本申请实施例提供了一种视频处理装置,应用于电子设备,所述电子设备包括:第一摄像模组和第二摄像模组,所述装置包括:
获取模块,用于在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;
截取模块,用于截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;
融合模块,用于对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
第三方面,本申请实施例提供了一种电子设备,所述电子设备包括:第一摄像模组、第二摄像模组、处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面任一所述的视频处理方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
附图说明
图1是本申请实施例提供的一种视频处理方法的流程图;
图2是本申请实施例提供的一种第一区域图像的截取原理图;
图3是本申请实施例提供的另一种第一区域图像的截取原理图;
图4是本申请实施例提供的再一种第一区域图像的截取原理示意图;
图5是本申请实施例提供的一种图像融合方法的原理示意图;
图6是本申请实施例提供的一种视频帧示意图;
图7是本申请实施例提供的另一种视频帧示意图;
图8是本申请实施例提供的另一种视频处理方法的流程图;
图9是本申请实施例提供的一种一致性处理的原理示意图;
图10是本申请实施例提供的一种视频帧处理的原理图;
图11是本申请实施例提供的另一种视频帧处理的原理图;
图12是本申请实施例提供的一种电子设备的结构示意图;
图13是本申请实施例提供的一种视频处理装置的框图;
图14是本申请实施例提供的又一种电子设备的结构示意图;
图15是本申请实施例提供的再一种电子设备的结构示意图;
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的数据处理方法、子芯片及电子设备进行详细地说明。
请参考图1,其示出了本申请实施例提供的一种视频处理方法的流程图。视频处理方法可以应用于电子设备,电子设备包括:第一摄像模组和第二摄像模组。可选地,电子设备可以为移动终端。该移动终端可以指的是手机、平板、电脑、可穿戴设备等。如图1所示,视频处理方法包括:
步骤101、在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,获取第一摄像模组采集的第一视频帧和第二摄像模组采集的第二视频帧。第一视频帧和第二视频帧同时采集得到。
本申请实施例中,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,第一摄像模组和第二摄像模组均处于工作状态,同时采集视频帧。电子设备获取第一摄像模组和第二摄像模组同时采集的视频帧进行后续处理。
在一种可选地实现方式中,电子设备可以包括主控芯片和图像处理芯片,主控芯片和图像处理芯片连接。第一摄像模组和第二摄像模组采集的原始图像(pure raw)数据可以经主控芯片传输至图像处理芯片,以使得图像处理芯片执行本申请实施例提供的视频处理方法。电子设备获取第一摄像模组采集的第一视频帧和第二摄像模组采集的第二视频帧的过程可以包括:
主控芯片对第一摄像模组采集的原始图像数据进行图像预处理后,得到第一视频帧;主控芯片对第二摄像模组采集的原始图像数据进行图像预处理后,得到第二视频帧;主控芯片将第一视频帧和第二视频帧传输至图像处理芯片。
其中,主控芯片可以在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,接收第一摄像模组和第二摄像模组同时采集的原始图像数据。对第一摄像模组的原始图像数据进行图像预处理后,得到第一视频帧;对第二摄像模组的原始图像数据进行图像预处理后,得到第二视频帧。可选地,图像预处理可以包括以下至少一种处理方式:去坏点处理、镜头校正处理、增益处理等。
这样,利用主控芯片对第一摄像模组和第二摄像模组采集的原始图像数据进行预处理,以得到第一视频帧和第二视频帧。不仅可以提升第一视频帧和第二视频帧的图像数据质量,便于后续处理效果。而且利用主控芯片执行图像预处理还可以分担图像处理芯片的处理工作,提升图像处理芯片的处理效率。相应的,利用第一视频帧和第二视频帧执行的视频处理方法由图像处理芯片执行而非主控芯片执行,也减少了主控芯片的处理工作,降低主控芯片的功耗。
在另一种可选地实现方式中,电子设备可以包括图像处理芯片。第一摄像模组和第二摄像模组采集的原始图像数据可以直接传输至图像处理芯片,以使得图像处理芯片执行本申请实施例提供的视频处理方法。
相应的,电子设备获取第一摄像模组采集的第一视频帧和第二摄像模组采集的第二视频帧的过程可以包括:图像处理芯片对第一摄像模组采集的原始图像数据进行图像预处理后,得到第一视频帧;图像处理芯片对第二摄像模组采集的原始图像数据进行图像预处理后,得到第二视频帧。
步骤102、截取第三视频帧中的第一区域图像。第三视频帧为第一视频帧和第二视频帧中采用相对较大的视场角采集到的视频帧。
本申请实施例中存在两种切换情况。在第一种切换情况中,第一摄像模组的第一视场角(field ofview,FOV)大于第二摄像模组的第二视场角。由第一摄像模组切换至第二摄像模组进行视频拍摄,则为由大视场角切换至小视场角进行视频拍摄。在第二种切换情况中,第一摄像模组的第一视场角小于第二摄像模组的第二视场角。由第一摄像模组切换至第二摄像模组进行视频拍摄,则为由小视场角切换至大视场角进行视频拍摄。本申请实施例中,电子设备可以截取采用相对较大的视场角采集到的第三视频帧中的第一区域图像,用以后续处理。不难理解的是,若第一视场角大于第二视场角,则第三视频帧为第一视频帧。若第一视场角小于第二视场角,则第三视频帧为第二视频帧。
其中,第一区域图像与第四视频帧等大。第四视频帧为第一视频帧和第二视频帧中采用相对较小的视场角采集到的视频帧。不难理解的是,若第一视场角大于第二视场角,则第四视频帧为第二视频帧。若第一视场角小于第二视场角,则第四视频帧为第一视频帧。
并且,在第二视场角和第一视场角的重叠范围为第二视场角或第一视场角,即第一视场角覆盖全部的第二视场角,或第二视场角覆盖全部的第一视场角的情况下,第一区域图像的中心与第四视频帧的中心重合。
例如,假设第二视场角大于第一视场角,第三视频帧为第二视频帧,第四视频帧为第一视频帧。则如图2所示,第二视场角覆盖全部的第一视场角,第二摄像模组采集的第二视频帧为201,第一摄像模组采集的第一视频帧为202。截取第二视频帧201中与第一视频帧为201中心重合,且等大的第一区域图像。如图3所示,第二视场角覆盖部分第一视场角。第二摄像模组采集的第二视频帧为201,第一摄像模组采集的第一视频帧为202。截取第二视频帧201中与第二视频帧为201等大的第一区域图像2011。
进一步示例地,如图4所示,假设第二摄像模组的第二视场角大于第一摄像模组的第一视场角,第三视频帧为第二视频帧,第四视频帧为第一视频帧。在采集第一视频帧和第二视频帧时的对焦距离为distance_0的情况下,第二视场角覆盖全部的第一视场角,且第二视场角边缘和第一视场角边缘不重叠。第一区域图像的中心与第一视频帧的中心对齐,第一区域图像与第一视频帧等大。在采集第一视频帧和第二视频帧时的对焦距离为distance_1的情况下,第二视场角覆盖全部的第一视场角,且第二视场角边缘和第一视场角边缘存在重叠边缘,第一区域图像的中心与第一视频帧的中心对齐,第一区域图像与第一视频帧等大。在采集第一视频帧和第二视频帧时的对焦距离为distance_2的情况下,第二视场角覆盖部分的第一视场角,第一区域图像的中心不与第一视频帧的中心对齐,第一区域图像与第一视频帧等大。需要说明的是,图5中以未填充颜色的长方形表示第一区域图像,以填充有斜线的长方形表示第一视频帧,且以圆圈表示第一区域图像与第一视频帧的中心。
本申请一些实施例中,电子设备可以根据对焦距离采用标定方法对齐第一视场角和第二视场角。以如图5所示情况为例,第一摄像模组和第二摄像模组在不同的对焦距离下第一视场角和第二视场角的具体大小不同。例如,在第一摄像模组和第二摄像模组在电子设备上的设置位置和角度固定后,二者之间的视场角的差异在各对焦距离下相对固定。因而,电子设备在第二视场角覆盖完全的第一视场角的情况下,可以根据实时的对焦距离,将第二视频帧和第一视频帧以第一视频帧的中心进行中心对齐,使得第一视频帧和第二视频帧重合,实现平滑的切换。
可选地,电子设备可以在截取第三视频帧中的第一区域图像之前,可以先确定第一区域图像的中心位置,以及获取第四视频帧的第一横向长度和第一纵向长度。进而根据中心位置、第一横向长度和第一纵向长度,在第三视频帧中截取第一区域图像。第一区域图像的横向长度为第一横向长度,第一区域图像的纵向长度为第一纵向长度。
基于此,在步骤102截取第三视频帧中的第一区域图像之前,电子设备还可以执行步骤01和步骤02。
在步骤01中,获取采集第一视频帧和第二视频帧时的对焦距离,以及第四视频帧的第一横向长度和第一纵向长度。
其中,对焦距离指的是第一摄像模组/第二摄像模组中的镜头到拍摄对象的距离与镜头到图像传感器的距离之和。由于在第一摄像模组和第二摄像模组同时进行视频拍摄时,第一摄像模组和第二摄像模组的对焦距离近似相等。因此,电子设备获取到对焦距离可以是第一摄像模组的对焦距离,也可以是第二摄像模组的对焦距离。
在步骤02中,根据对焦距离、第一摄像模组的第一视场角、第二摄像模组的第二视场角以及第一摄像模组和第二摄像模组的相对位置,计算第一区域图像的中心位置。
本申请一些实施例中,电子设备可以根据对焦距离、第一摄像模组的第一视场角、第二摄像模组的第二视场角以及第一摄像模组和第二摄像模组的相对位置,计算第一区域图像的中心与第三视频帧对应的视场角边缘的横向距离和纵向距离,得到第一区域图像的中心位置。
示例地,以第二视场角大于第一视场角为例,如图2所示,电子设备计算得到第一区域图像的中心与第二视频帧对应的视场角边缘的横向距离dx和纵向距离dy,得到第一区域图像的中心位置(dx,dy)。
可选地,电子设备可以采用第一公式和第二公式,根据对焦距离、第四视频帧的中心位置、第一摄像模组的第一视场角、第二摄像模组的第二视场角以及第一摄像模组和第二摄像模组的相对位置,计算第一区域图像的中心位置。
其中,第一公式满足:
第二公式满足:
其中,x2表示第一区域图像的中心位置的横坐标,即dx。y2表示第一区域图像的中心位置的纵坐标,即dy。Δdx表示第一摄像模组和第二摄像模组在横向上的相对位置。Δdy表示第一摄像模组和第二摄像模组在纵向上的相对位置。L表示对焦距离。θ1表示第四视频帧对应的视场角。θ2表示第三视频帧对应的视场角。x1表示第四视频帧的中心位置的横坐标。y1表示第四视频帧的中心位置的纵坐标。PixeSize1表示第四视频帧的像素大小,即在第四视频帧对应的视场角下拍摄的图像的像素大小。PixeSize2表示第三视频帧的像素大小,即在第三视频帧对应的视场角下拍摄的图像的像素大小。
以第二视场角大于第一视场角为例,θ1表示第一视场角。θ2表示第二视场角。x1表示第一视频帧的中心位置的横坐标。y1表示第一视频帧的中心位置的纵坐标。PixeSize1表示在第一视场角下拍摄的图像的像素大小。PixeSize2表示在第二视场角下拍摄的图像的像素大小。如图4所示,在采集第一视频帧和第二视频帧时的对焦距离为distance_0的情况下,电子设备计算得到第一区域图像的中心与第一视场角边缘的横向距离dx_0和纵向距离dy_0,得到第一区域图像的中心位置(dx_0,dy_0)。在采集第一视频帧和第二视频帧时的对焦距离为distance_1的情况下,电子设备计算得到第一区域图像的中心与第一视场角边缘的横向距离dx_1和纵向距离dy_1,得到第一区域图像的中心位置(dx_1,dy_1)。在采集第一视频帧和第二视频帧时的对焦距离为distance_2的情况下,电子设备计算得到第一区域图像的中心与第一视场角边缘的横向距离dx_2和纵向距离dy_2,得到第一区域图像的中心位置(dx_2,dy_2)。需要说明的是,图4中仅示出了第一区域图像的中心与第一视场角边缘的横向距离。
步骤103、对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。第四视频帧为第一视频帧和第二视频帧中采用相对较小的视场角采集到的视频帧。
可选地,电子设备可以直接将第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。其中,图像融合处理可以为alpha融合、金字塔融合或者泊松融合等。
但是,在第三视频帧对应的视场角覆盖部分第四视频帧对应的视场角,以及第三视频帧对应的视场角完全不覆盖第四视频帧对应的视场角的情况下,第三视频帧和第四视频帧存在图像偏移问题,进而导致第一区域图像和第四视频帧存在图像偏移问题。如图3和图4所示,在第二视场角覆盖部分第一视场角的情况下,第一视频帧和第二视频帧存在图像偏移问题,进而导致第一区域图像与第一视频帧存在图像偏移问题。随着第二视场角和第一视场角的重叠范围越小,第一视频帧和第二视频帧的偏移越大,第一区域图像与第一视频帧的偏移越大。甚至在第二视场角和第一视场角不具有重叠范围的情况下,第一视频帧和第二视频帧可能不具有重叠图像,第一区域图像与第一视频帧不具有重叠图像。如图4中在对焦距离由distance_1至distance_2的情况下,第一视频帧和第二视频帧存在相对偏移,第一区域图像与第一视频帧存在相对偏移。
然而,第一区域图像与第四视频帧的偏移程度,直接影响第一区域图像与第四视频帧的重叠程度,进而直接影响第一区域图像与第四视频帧的融合效果。因而,本申请一些实施例中,为了减少第一视频帧和第二视频帧的偏移,第一区域图像和第四视频帧的偏移对图像融合效果的影响,电子设备可以在第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角的情况下,即第三视频帧对应的视场角覆盖部分第四视频帧对应的视场角,或者第三视频帧对应的视场角不覆盖第四视频帧对应的视场角的情况下,对第一区域图像或第四视频帧进行淡化处理,以降低第一区域图像或第四视频帧的透明度,降低第一区域图像与第四视频帧在视觉上的不重叠程度,提升第一区域图像和第四视频帧的图像融合效果,保障摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
可选地,电子设备对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧的过程可以包括以下步骤1031至步骤1032。
在步骤1031中,在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。
第二视场角和第一视场角的重叠范围为第二视场角或第一视场角,即指的是第一视场角覆盖完全的第二视场角,或者,第二视场角覆盖完全的第一视场角。在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,第一区域图像和第四视频帧完全重叠,不存在偏移问题,电子设备可以直接将对第四视频帧和第一区域图像进行图像融合处理,得到图像融合效果较好的第五视频帧。
示例地,如图2所示情况、图4中对焦距离为distance_0和distance_1的情况下,第一区域图像和第四视频帧完全重叠,不存在偏移问题。电子设备直接将对第四视频帧和第一区域图像进行图像融合处理。
在步骤1032中,在第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角的情况下,降低目标图像的透明度,对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。
其中,目标图像为第一摄像模组采集的第一视频帧的全部或部分图像。在第三视频帧为第一视频帧的情况下,目标图像为第一视频帧中的部分图像,即第一区域图像。在第三视频帧为第二视频帧的情况下,目标图像为第四视频帧,即第一视频帧。
第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角,即指的是第二视场角和第一视场角的重叠范围为部分的第二视场角,或者部分的第一视场角,或者,第二视场角和第一视场角不具重叠范围。
在第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角的情况下,第一区域图像和第四视频帧可能不完全重叠,存在偏移问题。电子设备可以降低目标图像的透明度,对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。可选地,电子设备可以将目标图像的透明度降低目标数值。目标数值可以根据实际图像融合效果确定。或者,目标数值可以由用户自定义设置。
示例地,如图5所示,以第三视频帧为第二视频帧,第四视频帧为第一视频帧为例。第一区域图像501相较于第一视频帧502具有第一方向r上的偏移。
电子设备截取第二视频帧中的第一区域图像501,降低第一视频帧502的透明度。将降低透明度后的第一视频帧502与第一区域图像501进行图像融合处理,得到第五视频帧503。需要说明的是,图5的第五视频帧503中以虚线表示第一视频帧502的透明度经过降低。
这样,在第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角的情况下,通过降低目标图像的透明度,即在第一区域图像和第四视频帧存在图像偏移问题的情况下,通过降低第一摄像模组采集的第一视频帧的全部或部分图像,可以在降低第一区域图像与第四视频帧在视觉上的不重叠程度的基础上,使得图像融合后的第五视频帧更多地保留切换目的模组(即第二摄像模组)采集的第二视频帧的图像特征。因而,在提高第一区域图像和第四视频帧的图像融合效果的基础上,提升摄像模组切换拍摄效果。
可选地,目标图像的透明度的降低程度可以与第二视场角和第一视场角的重叠范围大小呈反比。即在第二视场角和第一视场角的重叠范围越小的情况下,越降低目标图像的透明度。基于此,电子设备降低目标图像的透明度的过程可以包括:根据第二视场角覆盖第一视场角的比例,确定调整变量值。根据调整变量值降低目标图像的透明度。
其中,第二视场角覆盖第一视场角的比例与调整变量值呈反比。调整变量值为目标图像的透明度的降低变量。示例地,调整变量值可以为比例与调整系数的乘积和基准变量值的求和值。调整系数的取值大于1。
这样,在第一视场角和第二视场角的重叠程度越小的情况下,第一视频帧和第二视频帧的偏移程度越大,导致第一区域图像和第四视频帧的偏移程度越大。因而,通过第二视场角覆盖第一视场角的比例确定与该比值呈反比的调整变量值,进而根据调整变量值降低目标图像的透明度,可以使得第二视场角覆盖第一视场角的比例越低,目标图像的透明度的降低程度越大,进而更加降低第一区域图像与第四视频帧在视觉上的不重叠程度,更好地提高第一区域图像和第四视频帧的图像融合效果。
本申请实施例中,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中通过截取第三视频帧中的第一区域图像,并对第四视频帧和第一区域图像进行图像融合处理,以使得在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,电子设备可以得到并输出融合处理后的第五视频帧。
这样,如图6所示,在采用第一摄像模组进行视频拍摄、到触发由第一摄像模组切换至第二摄像模组进行视频拍摄、再到摄像模组切换完成由第二摄像模组进行视频拍摄的情况下,拍摄得到的整个视频主要包括三部分视频帧。该三部分视频帧包括:采用第一摄像模组进行视频拍摄的第一阶段采集到的第一视频帧601、由第一摄像模组切换至第二摄像模组进行视频拍摄的第二阶段图经像融合处理后的第五视频帧602,以及采用第二摄像模组进行视频拍摄的第三阶段采集到的第二视频帧603。
而相关技术中,如图7所示,在采用第一摄像模组进行视频拍摄、到触发由第一摄像模组切换至第二摄像模组进行视频拍摄、再到摄像模组切换完成由第二摄像模组进行视频拍摄的情况下,拍摄得到的整个视频主要包括二部分视频帧。该二部分视频帧包括:第一阶段和第二阶段中第一摄像模组采集到的第一视频帧601,以及第三阶段中第二摄像模组采集到的第二视频帧603。但是,不同的摄像模组的配置通常不同。例如,不同的摄像模组对应的图像传感器不同、安装位置不同等。这些差异可能会在摄像模组的切换拍摄过程中导致视频拍摄画面出现抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,导致视频拍摄效果较差。
在本申请实施例中,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
请参考图8,其示出了本申请实施例提供的另一种视频处理方法的流程图。视频处理方法可以应用于电子设备,电子设备包括:第一摄像模组和第二摄像模组。可选地,电子设备可以为移动终端。该移动终端可以指的是手机、平板、电脑、可穿戴设备等。如图8所示,视频处理方法包括:
步骤801、在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,获取第一摄像模组采集的第一视频帧和第二摄像模组采集的第二视频帧。第一视频帧和第二视频帧同时采集得到。
该步骤的解释和实现方式可以参考前述步骤101的解释和实现方式,本申请实施例在此不做赘述。
步骤802、在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,根据第二视频帧相较于第一视频帧的亮度差异信息和颜色差异信息,对第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
可选地,在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,电子设备可以根据第二视频帧相较于第一视频帧的亮度差异信息,对第二视频帧进行亮度一致性矫正处理,得到中间视频帧。电子设备根据第二视频帧相较于第一视频帧的颜色差异信息,对第二视频帧进行颜色一致性矫正处理,得到处理后的第二视频帧。
若第三视频帧为第二视频帧,第四视频帧为第一视频帧。则在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,第二视频帧中存在与第一视频帧的图像内容完全重叠的第一区域图像。电子设备可以根据第一区域图像与第一视频帧中对应像素的亮度差异信息和颜色差异信息,对第二视频帧中第一区域图像进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
若第三视频帧为第一视频帧,第四视频帧为第二视频帧。则在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,第一视频帧中存在与第二视频帧的图像内容完全重叠的第一区域图像。电子设备可以根据第一视频帧与第一区域图像中对应像素的亮度差异信息和颜色差异信息,对第二视频帧中第一区域图像进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
示例地,如图9所示,第一视频帧901中存在与第二视频帧902的图像内容完全重叠的第一区域图像9011。电子设备根据第一视频帧与第一区域图像中第1行第1列像素的亮度差异信息和颜色差异信息,对第二视频帧的第一区域图像中第1行第1列像素进行亮度和颜色的一致性矫正处理;......;根据第一视频帧与第一区域图像中第i行第j列像素的亮度差异信息和颜色差异信息,对第二视频帧的第一区域图像中第i行第j列像素进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧;......;根据第一视频帧与第一区域图像中第p行第q列像素的亮度差异信息和颜色差异信息,对第二视频帧的第一区域图像中第p行第q列像素进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。p为第一视频帧中的像素行数,i≤p,且为正整数。q为第一视频帧中的像素行数,j≤q,且为正整数。
在一种可选地实现方式中,电子设备根据第二视频帧相较于第一视频帧的亮度差异信息和颜色差异信息,对第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧的过程可以包括以下步骤8021至步骤8024中。
在步骤8021中,获取第一视频帧和第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值。
可选地,电子设备可以从第一摄像模组采集的原始图像数据中获取第一视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值;从第二摄像模组采集的原始图像数据中获取第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值。
在步骤8022中,计算第一视频帧和第二视频帧中每个像素的第一颜色比值和第二颜色比值。第一颜色比值为红色分量值与绿色分量值的比值。第二颜色比值为蓝色分量值与绿色分量的比值。
本申请实施例中,电子设备计算第一视频帧中每个像素的第一颜色比值和第二颜色比值,以及第二视频帧中每个像素的第一颜色比值和第二颜色比值,得到亮度差异信息Cgrid1和Cgrid2。Cgrid1为Rgrid1/Ggrid1&Bgrid1/Ggrid1。Cgrid2为Rgrid2/Ggrid2&Bgrid2/Ggrid2。
其中,Cgrid1表示第一视频帧的第一颜色比值Rgrid1/Ggrid1和第二颜色比值Bgrid1/Ggrid1。Rgrid1、Ggrid1、Bgrid1依次表示第一视频帧中每个像素的红色分量值、绿色分量值、蓝色分量值。Cgrid2表示第二视频帧的第一颜色比值Rgrid2/Ggrid2和第二颜色比值Bgrid2/Ggrid2。Rgrid2、Ggrid2、Bgrid2依次表示第二视频帧中每个像素的红色分量值、绿色分量值、蓝色分量值。
在步骤8023中,根据第一视频帧和第二视频帧中对应像素的亮度、第一颜色比值和第二颜色比值,分别计算第二视频帧中每个像素对应的白平衡增益、色彩矩阵以及色调增益。
可选地,电子设备计算第一视频帧中每个像素的子像素的像素平均值作为该像素的亮度。计算第二视频帧中每个像素的子像素的像素平均值作为该像素的亮度。
以计算第一视频帧中每个像素的亮度为例。电子设备根据第三公式,计算第一视频帧中每个像素的亮度。第三公式满足:
Lgrid-avg=Sum(PixelValuegrid)/PixelNum;
其中,Lgrid-avg表示第一视频帧中每个像素的亮度。PixelValuegrid表示子像素的像素值,Sum(PixelValuegrid)表示像素中所有子像素的像素值之和。PixelNum表示像素中子像素的数量。
在一种可选地实现方式中,电子设备可以计算第一视频帧中与第二视频帧对应的多个像素的第一颜色比值的累加值,得到第一视频帧的第一颜色比值;计算第一视频帧中与第二视频帧对应的多个像素的第二颜色比值的累加值,得到第一视频帧的第二颜色比值。并且计算第二视频帧中与第一视频帧对应的多个像素的第一颜色比值的累加值,得到第二视频帧的第一颜色比值;计算第二视频帧中与第一视频帧对应的多个像素的第二颜色比值的累加值,得到第二视频帧的第二颜色比值。电子设备计算第一视频帧的第一颜色比值与第二视频帧的第一颜色比值的比值,以及第一视频帧的第二颜色比值与第二视频帧的第二颜色比值的比值,得到第二视频帧中每个像素的白平衡增益(wb gain)。
电子设备可以将第一视频帧中单个像素的第一颜色比值,与第二视频帧中对应像素的第一颜色比值的比值,得到第一视频帧和第二视频帧一个对应像素的红色分量系数,以得到第一视频帧和第二视频帧中每个对应像素的红色分量系数。电子设备将第一视频帧中单个像素的第二颜色比值,与第二视频帧中对应像素的第二颜色比值的比值,得到第一视频帧和第二视频帧一个对应像素的蓝色分量系数,以得到第一视频帧和第二视频帧中每个对应像素的蓝色分量系数。根据第一视频帧和第二视频帧中每个对应像素的红色分量系数以及蓝色分类系数构建第二视频帧中每个对应像素的色彩矩阵(colormatrix)。在一种可选地情况下,若第二视频帧中存在不与第一视频帧对应的像素,则可以将初始色彩矩阵作为第二视频帧中该像素的色彩矩阵。初始色彩矩阵可以指示不改变像素的相关值。
电子设备可以将第一视频帧中单个像素的亮度,与第二视频帧中对应像素的亮度的比值,得到第一视频帧和第二视频帧一个对应像素的色调增益,以得到第一视频帧和第二视频帧中每个对应像素的色调增益(local gain)。在一种可选地情况下,若第二视频帧中存在不与第一视频帧对应的像素,则可以将初始色调增益作为第二视频帧中该像素的色调增益。色调增益可以指示不改变像素的相关值。
在步骤8024中,根据白平衡增益、色彩矩阵以及色调增益,依次对第二视频帧中每个像素进行白平衡处理、颜色校正处理、色调映射处理,得到处理后的第二视频帧。
本申请实施例中,电子设备根据白平衡增益对第二视频帧中每个像素进行白平衡处理,根据色彩矩阵对第二视频帧中每个像素进行颜色校正处理,根据色调增益对第二视频帧中每个像素进行色调映射处理,得到处理后的第二视频帧。
步骤803、截取第三视频帧中的第一区域图像。第三视频帧为第一视频帧和第二视频帧中采用相对较大的视场角采集到的视频帧。
该步骤的解释和实现方式可以参考前述步骤102的解释和实现方式,本申请实施例在此不做赘述。
步骤804、对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧。第四视频帧为第一视频帧和第二视频帧中采用相对较小的视场角采集到的视频帧。
该步骤的解释和实现方式可以参考前述步骤103的解释和实现方式,本申请实施例在此不做赘述。
本申请一些实施例中,用户可以在拍摄过程中选取感兴趣区域(region ofinterest,ROI),以设置选取的ROI为变焦拍摄后的画面中心,即摄像模组切换拍摄的画面中心。并且用户可以设置切换拍摄后的画面缩放大小,实现缩放特效,进而显示变焦缩放后的图像帧,丰富视频拍摄效果,提升用户拍摄体验。
可选地,在步骤804对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧之后,所述方法还包括:
步骤805、获取用户的感兴趣区域的目标中心位置以及变焦倍数。
可选地,用户可以在显示屏幕上执行感兴趣区域选取输入,以使得电子设备接收到感兴趣区域选取输入,响应于感兴趣区域选取输入,获取感兴趣区域的目标中心位置。用户可以在显示屏幕上执行变焦倍数选取输入,以使得电子设备接收到变焦倍数选取输入,响应于变焦倍数选取输入,获取变焦倍数。
一个示例地,感兴趣区域选取输入可以为在显示屏幕上的点击或长按输入。电子设备将在显示屏幕上的点击或长按点,确定为感兴趣区域的目标中心位置。
另一示例地,变焦倍数选取输入可以为显示屏幕上显示的变焦控件的点击、长按、滑动或语音等形式的输入,用以改变变焦控件对应的变焦倍数值。电子设备接收变焦倍数选取输入,确定变焦控件改变后的变焦倍数值为用户设置的变焦倍数。
步骤806、根据变焦倍数、第四视频帧的第一横向长度和第一纵向长度,计算变焦后的第二横向长度和第二纵向长度。
可选地,电子设备计算第一横向程度与变焦倍数的乘积,得到第二横向长度;计算第一纵向长度与变焦倍数的乘积,得到第二纵向长度。
步骤807、截取第五视频帧中的第二区域图像,得到第六视频帧。第二区域图像的中心位置为目标中心位置,横向长度为第二横向长度,纵向长度为第二纵向长度。
本申请实施例中,电子设备从第五视频帧中截取以感兴趣区域的目标中心位置为中心、横向长度为第二横向长度,纵向长度为第二纵向长度的第二区域图像,得到第六视频帧。
示例地,如图10所示,电子设备在显示屏幕上显示第一界面1001,在第一界面1001上显示第五视频帧。用户在显示屏幕上点击感兴趣区域,以使电子设备获取感兴趣区域的中心坐标,得到目标中心位置。电子设备在显示屏幕上显示第二界面1002,在第二界面1002上显示变焦控件。用户滑动变焦控件,以改变变焦控件对应的变焦倍数。电子设备获取变焦控件对应改变后的变焦倍数。以变焦倍数大于1为例,电子设备在第三界面1003上显示以感兴趣区域的目标中心位置为中心放大后的第六视频帧。
本申请一些实施例中,用户还可以选取摄像模组切换拍摄过程中的转场特效,以使对第五视频帧添加特征,增加与用户的交互体验、丰富视频拍摄效果,提升用户拍摄体验。
可选地,可选地,在步骤804对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧之后,所述方法还包括:获取用户选取的转场特效标识,根据转场特效标识对第五视频帧进行特效处理,得到处理后的第五视频帧。
本申请一些实施例中,电子设备可以显示多个转场特效标识,接收用户对多个转场特效标识中目标转场特效标识的选取输入,确定目标转场特效标识为用户选取的转场特效标识。将用户选取的转场特效标识对应的特效模板与第五视频帧进行图像融合处理,得到处理后的第五视频帧。
其中,对目标转场特效标识的选取输入用于选取针对第五视频帧的转场特效。可选地,该选取输入可以为对目标转场特效标识的点击、长按、滑动或语音等形式的输入。示例地,如图11所示,电子设备可以显示第五视频帧并显示多个转场特效标识:白场过渡、叠加溶解、交叉溶解。电子设备点击叠加溶解,对第五视频帧进行特效处理,显示具有叠加溶解特效的第五视频帧。
本申请实施例中,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
请参考图12,其示出了本申请实施例提供的一种电子设备的框图。电子设备可以执行本申请实施例提供的视频处理方法。如图12所示,电子设备1200包括:第一摄像模组1201、第二摄像模组1202、图像处理芯片1203和显示装置1204。
其中,第一摄像模组1201用于在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,和第二摄像模组1202同时采集视频帧,以采集得到第一视频帧。
第二摄像模组1202用于在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,和第一摄像模组1201同时采集视频帧,以采集得到第二视频帧。
图像处理芯片1203与第一摄像模组1201和第二摄像模组1202连接。图像处理芯片1203用于执行本申请实施例提供的视频处理方法。
在一种可选地情况下,显示装置1204与第一摄像模组1201和第二摄像模组1202连接。显示装置1204用于显示第一视频帧或第二视频帧。
在另一种可选地情况下,显示装置1204还与图像处理芯片1203连接。显示装置1204用于显示第五视频帧。
本申请实施例中,电子设备在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
可选地,图像处理芯片1203还包括:相互连接的图像矫正模块12031和图像融合(Fusion)模块12032。
图像矫正模块12031用于在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,根据所述第二视频帧相较于所述第一视频帧的亮度差异信息和颜色差异信息,对所述第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
图像融合模块12032用于截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;以及还用于对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
可选地,图像融合模块12032还用于:获取采集所述第一视频帧和所述第二视频帧时的对焦距离,以及所述第四视频帧的第一横向长度和第一纵向长度;根据所述对焦距离、所述第一摄像模组的第一视场角、所述第二摄像模组的第二视场角以及所述第一摄像模组和所述第二摄像模组的相对位置,计算所述第一区域图像的中心位置;根据所述中心位置、所述第一横向长度和所述第一纵向长度,在所述第三视频帧中截取第一区域图像,所述第一区域图像的横向长度为所述第一横向长度,纵向长度为所述第一纵向长度。
可选地,图像融合模块12032还用于:在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧;
在所述第二视场角和所述第一视场角的重叠范围不为所述第二视场角或所述第一视场角的情况下,降低目标图像的透明度,对所述第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,其中,在所述第三视频帧为所述第一视频帧的情况下,所述目标图像为所述第一区域图像,在所述第三视频帧为所述第二视频帧的情况下,所述目标图像为所述第四视频帧。
可选地,图像融合模块12032还用于:根据所述第二视场角覆盖所述第一视场角的比例,确定调整变量值,所述比例与所述调整变量值呈反比;根据所述调整变量值降低目标图像的透明度。
进一步可选地,图像矫正模块12031还包括:微控制单元(Microcontroller Unit,MCU)120311、白平衡(white balance,WB)模块120312、颜色矫正(Color correction)模块120313、色调映射(Tone mapping)模块120314。
其中,微控制单元120311分别与白平衡模块120312、颜色矫正模块120313、色调映射模块120314连接。微控制单元12031用于获取所述第一视频帧和所述第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值;计算所述第一视频帧和所述第二视频帧中每个像素的第一颜色比值和第二颜色比值,所述第一颜色比值为红色分量值与绿色分量值的比值,所述第二颜色比值为蓝色分量值与绿色分量的比值;根据所述第一视频帧和所述第二视频帧中对应像素的亮度、第一颜色比值和第二颜色比值的差值,分别计算所述第二视频帧中每个像素对应的白平衡增益、色彩矩阵以及色调增益。
白平衡模块120312、颜色矫正模块120313、色调映射模块120314依次连接。白平衡模块120312用于根据所述白平衡增益对所述第二视频帧中每个像素进行白平衡处理,得到第一中间视频帧。
颜色矫正模块120313用于根据所述色彩矩阵对第一中间视频帧中每个像素进行颜色校正处理,得到第二中间视频帧。
色调映射模块120314用于根据所述色调增益对第二中间视频帧中每个像素进行色调映射处理,得到处理后的第二视频帧。
本申请一些实施例中,图像矫正模块12031还包括:去马赛克处理(Demosaic)120315。
去马赛克处理120315分别与白平衡模块120312、颜色矫正模块120313连接。去马赛克处理120315用于对第一中间视频帧进行去马赛克处理,得到处理后的第一中间视频帧。
可选地,图像处理芯片1203还包括:gamma矫正模块12033、尺寸变换(Scaler)模块12034、视频编码器(Video encoder)12035。
其中,gamma矫正模块12033分别与图像矫正模块12031和尺寸变换(Scaler)模块12034连接。gamma矫正模块12033用于对处理后的第二视频帧进行gamma矫正处理,得到处理后的第二视频帧。
尺寸变换(Scaler)模块12034用于将gamma矫正模块12033传输的第二视频帧的数据格式转换为YUV格式,向图像融合模块12032传输格式转换后的第二视频帧。
视频编码器12035分别与图像融合模块12032和显示装置连接。视频编码器12035用于对第五视频帧进行编码处理,向显示装置传输。
本申请一些实施例中,电子设备1200还包括:主控芯片1205。主控芯片又称应用芯片(Application Processor,AP)。主控芯片1205分别与第一摄像模组1201、第二摄像模组1202和图像处理芯片1203连接。主控芯片1205用于获取第一摄像模组1201采集的原始图像数据,并对第一摄像模组1201采集的原始图像数据进行图像预处理得到第一视频帧。主控芯片1205还用于获取第二摄像模组1202采集的原始图像数据,并对第一摄像模组1202采集的原始图像数据进行图像预处理得到第二视频帧。主控芯片1205用于向图像处理芯片1203传输处理后的原始数据(2x Processed Raw,2x表示两个摄像模组的数据)。处理后的原始数据包括第一视频帧第二视频帧。
主控芯片1205还用于获取第一摄像模组1201和第二摄像模组1202采集第一视频帧和第二视频帧时的对焦距离(2xAF distance),将向图像处理芯片1203传输对焦距离。
主控芯片1205还用于获取第一视频帧和第二视频帧的统计信息(2x 2A(AE/AWB)stats)。统计信息包括:第一视频帧和第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值。主控芯片1205还用于将向图像处理芯片1203传输统计信息。
相应地,图像处理芯片1203用于接收主控芯片传输的三路数据,即处理后的原始数据、对焦距离和统计信息,以根据从主控芯片接收到的三路数据执行本申请实施例提供的视频处理方法。
在一种可选地情况下,主控芯片1205还直接与显示装置1204连接。主控芯片1205还用于将第一视频帧或者第二视频帧直接传输至显示装置1204。相应的,显示装置1204还用于直接显示从主控芯片1205接收到的第一视频帧或第二视频帧。不难理解的是,主控芯片1205可以生成至少四路数据,即处理后的原始数据、对焦距离、统计信息以及直接向显示装置1204传输的一路数据。
综上所述,本申请实施例提供的电子设备,在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
需要说明的是,本申请实施例提供的视频处理方法,执行主体可以为视频处理装置,或者该视频处理装置中的用于执行视频处理方法的控制模块。本申请实施例中以视频处理装置执行视频处理方法为例,说明本申请实施例提供的视频处理装置。
请参考图13、其示出了本申请实施例提供的一种视频处理装置的框图。视频处理装置应用于电子设备,电子设备包括:第一摄像模组和第二摄像模组。如图13所示,视频处理装置1300包括:获取模块1301、截取模块1302和融合模块1303。
获取模块1301,用于在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,获取第一摄像模组采集的第一视频帧和第二摄像模组采集的第二视频帧,第一视频帧和第二视频帧同时采集得到;
截取模块1302,用于截取第三视频帧中的第一区域图像,第三视频帧为第一视频帧和第二视频帧中采用相对较大的视场角采集到的视频帧;
融合模块1303,用于对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧,第四视频帧为第一视频帧和第二视频帧中采用相对较小的视场角采集到的视频帧。
可选地,获取模块1301,还用于:获取采集第一视频帧和第二视频帧时的对焦距离,以及第四视频帧的第一横向长度和第一纵向长度;
以及还用于根据对焦距离、第一摄像模组的第一视场角、第二摄像模组的第二视场角以及第一摄像模组和第二摄像模组的相对位置,计算第一区域图像的中心位置;
截取模块1302,还用于根据中心位置、第一横向长度和第一纵向长度,在第三视频帧中截取第一区域图像,第一区域图像的横向长度为第一横向长度,纵向长度为第一纵向长度。
可选地,融合模块1303,还用于:
在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧;
在第二视场角和第一视场角的重叠范围不为第二视场角或第一视场角的情况下,降低目标图像的透明度,对第四视频帧和第一区域图像进行图像融合处理,得到第五视频帧,
其中,在第三视频帧为第一视频帧的情况下,目标图像为第一区域图像,在第三视频帧为第二视频帧的情况下,目标图像为第四视频帧。
可选地,融合模块1303,还用于:根据第二视场角覆盖第一视场角的比例,确定调整变量值,比例与调整变量值呈反比;根据调整变量值降低目标图像的透明度。
可选地,视频处理装置1300还包括:矫正模块,用于在第二摄像模组的第二视场角和第一摄像模组的第一视场角的重叠范围为第二视场角或第一视场角的情况下,根据第二视频帧相较于第一视频帧的亮度差异信息和颜色差异信息,对第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
可选地,矫正模块,还用于:
获取第一视频帧和第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值;
计算第一视频帧和第二视频帧中每个像素的第一颜色比值和第二颜色比值,第一颜色比值为红色分量值与绿色分量值的比值,第二颜色比值为蓝色分量值与绿色分量的比值;
根据第一视频帧和第二视频帧中对应像素的亮度、第一颜色比值和第二颜色比值的差值,分别计算第二视频帧中每个像素对应的白平衡增益、色彩矩阵以及色调增益;
根据白平衡增益、色彩矩阵以及色调增益,依次对第二视频帧中每个像素进行白平衡处理、颜色校正处理、色调映射处理,得到处理后的第二视频帧。
可选地,获取模块1301,还用于获取用户的感兴趣区域的目标中心位置以及变焦倍数;
视频处理装置1300还包括:计算模块,用于根据变焦倍数、第四视频帧的第一横向长度和第一纵向长度,计算变焦后的第二横向长度和第二纵向长度;
截取模块1302,还用于截取第五视频帧中的第二区域图像,得到第六视频帧,第二区域图像的中心位置为目标中心位置,横向长度为第二横向长度,纵向长度为第二纵向长度。
可选地,电子设备包括主控芯片和图像处理芯片,主控芯片和图像处理芯片连接,主控芯片对第一摄像模组采集的原始图像数据进行图像预处理后,得到第一视频帧;主控芯片对第二摄像模组采集的原始图像数据进行图像预处理后,得到第二视频帧;主控芯片将第一视频帧和第二视频帧传输至图像处理芯片。
本申请实施例中,电子设备在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
本申请实施例中的视频处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动终端,也可以为非移动终端。示例性的,移动终端可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digitalassistant,PDA)等,非移动终端可以为服务器、网络附属存储器(Network AttachedStorage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的视频处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的视频处理装置能够实现图2至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图14所示,本申请实施例还提供一种电子设备1400,包括处理器1401、存储器1402和本申请实施例提供的数据处理系统。存储器1402上存储有可在所述处理器1401上运行的程序或指令,该程序或指令被处理器1401执行时实现上述数据处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,电子设备1400还包括:第一摄像模组和第二摄像模组。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图15为实现本申请实施例的一种电子设备的硬件结构示意图。该电子设备1500包括但不限于:射频单元1501、网络模块1502、音频输出单元1503、输入单元1504、传感器1505、显示单元1506、用户输入单元1507、接口单元1508、存储器1509、以及处理器1510等部件。该电子设备1500还包括第一摄像模组和第二摄像模组。
本领域技术人员可以理解,电子设备1500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图15中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1510,用于在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;
以及用于截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;
以及用于对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
本申请实施例中,电子设备在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
可选地,处理器1510,还用于:
获取采集所述第一视频帧和所述第二视频帧时的对焦距离,以及所述第四视频帧的第一横向长度和第一纵向长度;
根据所述对焦距离、所述第一摄像模组的第一视场角、所述第二摄像模组的第二视场角以及所述第一摄像模组和所述第二摄像模组的相对位置,计算所述第一区域图像的中心位置;
根据所述中心位置、所述第一横向长度和所述第一纵向长度,在所述第三视频帧中截取第一区域图像,所述第一区域图像的横向长度为所述第一横向长度,纵向长度为所述第一纵向长度。
可选地,处理器1510,还用于:
在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧;
在所述第二视场角和所述第一视场角的重叠范围不为所述第二视场角或所述第一视场角的情况下,降低目标图像的透明度,对所述第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,
其中,在所述第三视频帧为所述第一视频帧的情况下,所述目标图像为所述第一区域图像,在所述第三视频帧为所述第二视频帧的情况下,所述目标图像为所述第四视频帧。
可选地,处理器1510,还用于:根据所述第二视场角覆盖所述第一视场角的比例,确定调整变量值,所述比例与所述调整变量值呈反比;根据所述调整变量值降低目标图像的透明度。
可选地,处理器1510,还用于在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,根据所述第二视频帧相较于所述第一视频帧的亮度差异信息和颜色差异信息,对所述第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
可选地,处理器1510,还用于:
获取所述第一视频帧和所述第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值;
计算所述第一视频帧和所述第二视频帧中每个像素的第一颜色比值和第二颜色比值,所述第一颜色比值为红色分量值与绿色分量值的比值,所述第二颜色比值为蓝色分量值与绿色分量的比值;
根据所述第一视频帧和所述第二视频帧中对应像素的亮度、第一颜色比值和第二颜色比值的差值,分别计算所述第二视频帧中每个像素对应的白平衡增益、色彩矩阵以及色调增益;
根据所述白平衡增益、所述色彩矩阵以及所述色调增益,依次对所述第二视频帧中每个像素进行白平衡处理、颜色校正处理、色调映射处理,得到处理后的第二视频帧。
可选地,处理器1510,还用于:
获取用户的感兴趣区域的目标中心位置以及变焦倍数;
根据所述变焦倍数、所述第四视频帧的第一横向长度和第一纵向长度,计算变焦后的第二横向长度和第二纵向长度;
截取所述第五视频帧中的第二区域图像,得到第六视频帧,所述第二区域图像的中心位置为所述目标中心位置,横向长度为所述第二横向长度,纵向长度为所述第二纵向长度。
可选地,所述电子设备包括主控芯片和图像处理芯片,所述主控芯片和所述图像处理芯片连接,所述主控芯片对第一摄像模组采集的原始图像数据进行图像预处理后,得到第一视频帧;所述主控芯片对第二摄像模组采集的原始图像数据进行图像预处理后,得到第二视频帧;所述主控芯片将所述第一视频帧和所述第二视频帧传输至所述图像处理芯片。
本申请实施例中,电子设备在由第一摄像模组切换至第二摄像模组进行视频拍摄的过程中,通过获取第一摄像模组和第二摄像模组同时采集的第一视频帧和第二视频帧,以截取第二视频帧中的第一区域图像,并对第一视频帧和第一区域图像进行图像融合处理,得到第三视频帧。该技术方案中,由于第一视频帧为切换前的第一摄像模组采集的,而第二视频帧为切换后的第二摄像模组采集的。因此,通过将第一视频帧与第二视频帧中,采用相对较小的视场角采集到的视频帧与采用相对较大的视场角采集到的视频帧中的第一区域图像进行图像融合处理,可以在一定程度上综合第一视频帧与第二视频帧中的图像特征,消除两个不同的摄像模组拍摄的两个画面中可能存在的图像差异特征,从而使得经图像融合处理后得到的第五视频帧相较于第二视频帧更为接近第一视频帧,进而使得在摄像模组的切换拍摄过程中拍摄的视频画面较大概率不会出现诸如抖动、卡顿、切换前后拍摄的视频帧之间的颜色、亮度差异过大等画面问题,提升摄像模组切换拍摄过程中拍摄画面的平滑性,提高视频拍摄效果。
应理解的是,本申请实施例中,输入单元1504可以包括图形处理器(GraphicsProcessing Unit,GPU)15041和麦克风15042,图形处理器15041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1506可包括显示面板15061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板15061。用户输入单元1507包括触控面板15071以及其他输入设备15072中的至少一种。触控面板15071,也称为触摸屏。触控面板15071可包括触摸检测装置和触摸控制器两个部分。其他输入设备15072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1509可用于存储软件程序以及各种数据。存储器1509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1509可以包括易失性存储器或非易失性存储器,或者,存储器x09可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1509包括但不限于这些和任意其它适合类型的存储器。
处理器1510可包括一个或多个处理单元;可选的,处理器1510集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (12)
1.一种视频处理方法,其特征在于,应用于电子设备,所述电子设备包括:第一摄像模组和第二摄像模组,所述方法包括:
在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;
截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;
对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取采集所述第一视频帧和所述第二视频帧时的对焦距离,以及所述第四视频帧的第一横向长度和第一纵向长度;
根据所述对焦距离、所述第一摄像模组的第一视场角、所述第二摄像模组的第二视场角以及所述第一摄像模组和所述第二摄像模组的相对位置,计算所述第一区域图像的中心位置;
所述截取所述第三视频帧中的第一区域图像,包括:根据所述中心位置、所述第一横向长度和所述第一纵向长度,在所述第三视频帧中截取第一区域图像,所述第一区域图像的横向长度为所述第一横向长度,纵向长度为所述第一纵向长度。
3.根据权利要求1所述的方法,其特征在于,所述对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,包括:
在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧;
在所述第二视场角和所述第一视场角的重叠范围不为所述第二视场角或所述第一视场角的情况下,降低目标图像的透明度,对所述第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,
其中,在所述第三视频帧为所述第一视频帧的情况下,所述目标图像为所述第一区域图像,在所述第三视频帧为所述第二视频帧的情况下,所述目标图像为所述第四视频帧。
4.根据权利要求3所述的方法,其特征在于,所述降低目标图像的透明度,包括:
根据所述第二视场角覆盖所述第一视场角的比例,确定调整变量值,所述比例与所述调整变量值呈反比;
根据所述调整变量值降低目标图像的透明度。
5.根据权利要求1所述的方法,其特征在于,在所述截取第三视频帧中的第一区域图像之前,所述方法还包括:
在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,根据所述第二视频帧相较于所述第一视频帧的亮度差异信息和颜色差异信息,对所述第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第二视频帧相较于所述第一视频帧的亮度差异信息和颜色差异信息,对所述第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧,包括:
获取所述第一视频帧和所述第二视频帧中每个像素的亮度值、红色分量值、绿色分量值和蓝色分量值;
计算所述第一视频帧和所述第二视频帧中每个像素的第一颜色比值和第二颜色比值,所述第一颜色比值为红色分量值与绿色分量值的比值,所述第二颜色比值为蓝色分量值与绿色分量的比值;
根据所述第一视频帧和所述第二视频帧中对应像素的亮度、第一颜色比值和第二颜色比值,分别计算所述第二视频帧中每个像素对应的白平衡增益、色彩矩阵以及色调增益;
根据所述白平衡增益、所述色彩矩阵以及所述色调增益,依次对所述第二视频帧中每个像素进行白平衡处理、颜色校正处理、色调映射处理,得到处理后的第二视频帧。
7.根据权利要求1所述的方法,其特征在于,在所述对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧之后,所述方法还包括:
获取用户的感兴趣区域的目标中心位置以及变焦倍数;
根据所述变焦倍数、所述第四视频帧的第一横向长度和第一纵向长度,计算变焦后的第二横向长度和第二纵向长度;
截取所述第五视频帧中的第二区域图像,得到第六视频帧,所述第二区域图像的中心位置为所述目标中心位置,横向长度为所述第二横向长度,纵向长度为所述第二纵向长度。
8.根据权利要求1所述的方法,其特征在于,所述电子设备包括主控芯片和图像处理芯片,所述主控芯片和所述图像处理芯片连接,所述获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,包括:
所述主控芯片对第一摄像模组采集的原始图像数据进行图像预处理后,得到第一视频帧;
所述主控芯片对第二摄像模组采集的原始图像数据进行图像预处理后,得到第二视频帧;
所述主控芯片将所述第一视频帧和所述第二视频帧传输至所述图像处理芯片。
9.一种视频处理装置,其特征在于,应用于电子设备,所述电子设备包括:第一摄像模组和第二摄像模组,所述装置包括:
获取模块,用于在由所述第一摄像模组切换至所述第二摄像模组进行视频拍摄的过程中,获取所述第一摄像模组采集的第一视频帧和所述第二摄像模组采集的第二视频帧,所述第一视频帧和所述第二视频帧同时采集得到;
截取模块,用于截取第三视频帧中的第一区域图像,所述第三视频帧为所述第一视频帧和所述第二视频帧中采用相对较大的视场角采集到的视频帧;
融合模块,用于对第四视频帧和所述第一区域图像进行图像融合处理,得到第五视频帧,所述第四视频帧为所述第一视频帧和所述第二视频帧中采用相对较小的视场角采集到的视频帧。
10.根据权利要求1所述的装置,其特征在于,所述装置还包括:
矫正模块,用于在所述第二摄像模组的第二视场角和所述第一摄像模组的第一视场角的重叠范围为所述第二视场角或所述第一视场角的情况下,根据所述第二视频帧相较于所述第一视频帧的亮度差异信息和颜色差异信息,对所述第二视频帧进行亮度和颜色的一致性矫正处理,得到处理后的第二视频帧。
11.一种电子设备,其特征在于,包括第一摄像模组、第二摄像模组、处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至8任一项所述的视频处理方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至8任一项所述的视频处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550337.5A CN117479025A (zh) | 2023-11-20 | 2023-11-20 | 视频处理方法、视频处理装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550337.5A CN117479025A (zh) | 2023-11-20 | 2023-11-20 | 视频处理方法、视频处理装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117479025A true CN117479025A (zh) | 2024-01-30 |
Family
ID=89629207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311550337.5A Pending CN117479025A (zh) | 2023-11-20 | 2023-11-20 | 视频处理方法、视频处理装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117479025A (zh) |
-
2023
- 2023-11-20 CN CN202311550337.5A patent/CN117479025A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP2323374B1 (en) | Image pickup apparatus, image pickup method, and program | |
WO2021047345A1 (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
CN104883504B (zh) | 开启智能终端上高动态范围hdr功能的方法及装置 | |
WO2022161260A1 (zh) | 对焦方法、装置、电子设备及介质 | |
CN105141841B (zh) | 摄像设备及其方法 | |
CN107911683B (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
CN107911682A (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
US20070024710A1 (en) | Monitoring system, monitoring apparatus, monitoring method and program therefor | |
CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
CN112532881A (zh) | 图像处理方法、装置和电子设备 | |
CN107948511B (zh) | 图像亮度处理方法、装置、存储介质和图像亮度处理设备 | |
CN110084765A (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
CN113132695A (zh) | 镜头阴影校正方法、装置及电子设备 | |
CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
US20160292842A1 (en) | Method and Apparatus for Enhanced Digital Imaging | |
WO2019128539A1 (zh) | 图片清晰度的获取方法、装置、存储介质及电子设备 | |
CN113965687A (zh) | 拍摄方法、装置和电子设备 | |
CN114125240A (zh) | 图像传感器、摄像模组、电子设备及拍摄方法 | |
CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
CN112437237A (zh) | 拍摄方法及装置 | |
CN116055891A (zh) | 图像处理方法及其装置 | |
CN117479025A (zh) | 视频处理方法、视频处理装置、电子设备及介质 | |
CN110602410A (zh) | 一种图像处理方法、装置、航拍相机及存储介质 | |
CN111242087B (zh) | 物体识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |