CN112184856A - 支持多图层特效及动画混合的多媒体处理装置 - Google Patents

Abstract

本发明涉及一种支持多图层特效及动画混合的多媒体处理装置，包括数据模块、系统桥接模块、图层解析模块、渲染计算模块、预览控制模块、编码导出模块以及资源管理模块；本发明提供了一套灵活高效，功能丰富可扩展性强，稳定性高的渲染流程。本申请通过将用户的各种输入源最终转化为图像纹理数据，使得可对不同类型素材用同一套的处理逻辑和渲染流程进行预处理、特效应用、数据插值以及特效动画应用等处理，从而支持对不同类型的素材自由应用特效和动画，以及对多图层间层级关系的自由调整和混合。同时通过对渲染过程中纹理、滤镜特效等资源的创建与清除的严格控制，有效地提升了编辑过程中的稳定性，为用户带来更好的特效视频编辑体验。

Description

支持多图层特效及动画混合的多媒体处理装置

技术领域

本发明属于多媒体技术领域，具体涉及一种支持多图层特效及动画混合的多媒体处理装置。

背景技术

随着近年来可移动智能设备如手机平板等在全世界的大范围普及、芯片算力的飞速提升以及移动网络的不断升级，用户基于自身移动设备进行视频创作及表达的需求也在日益增长。但目前已有的移动端图像视频处理软件无法支持高度自定义的视频动画特效编辑。现有实现方案存在无法自由地将不同层级的图层进行混合、无法自由调节不同类型图层间的层级关系、编辑渲染过程中硬件资源占用不合理、无法为指定的某个图层应用功能丰富可定制性强的动画及特效等问题与弊端，从而导致用户的个性化特效视频创作需求无法得到稳定、及时、高效的满足。

相关技术中，iOS平台已经存在的视频编辑软件中，虽然已有一些软件可以支持视频、图片、文字、GIF等多种素材的综合型视频编辑，它们的主流实现方式为：①对于视频类型的图层，基于苹果音视频底层AVComposition、AVCompositionTrack、AVVideoComposition等相关类及其默认实现来实现视频层的渲染；②对于图片、贴纸、序列帧等类型的图层，有些实现方案会将其先转化为视频然后作为视频图层再进行处理，有些方案则使用系统UI控件来实现图像图层；③其他类型的图层如文本，则使用系统UI控件来实现。这导致现有的实现方式都或多或少的存在着如下两个主要问题：

1，有着各种关于图层滤镜特效、层级调整、混合的实现或效率上的限制，使得较为复杂的特效编辑难以甚至无法实现。此类限制包括：①无法自由调整任意图层间的层级关系，或是对不同图层间应用混合模式；②无法将类型丰富，功能强大的各种特效作用于任意图层的任意时间段；③图层只支持预置的简单空间动画，用户无法自由设计图层的运动轨迹以及运动速率变化，也无法使用带各种运动特效的动画。

2，对内存、GPU等资源的利用不够充分合理或是管理不到位。其中尤为突出的是对内存资源的管理问题，在视频图像处理类的应用中，视频帧或图像的纹理会占用大量的内容，并且涉及大量的系统底层的数据结构或是原始的不透明数据类型，稍不注意就会产生内存泄漏或是内存溢出，这使得视频编辑系统稳定性较差，编辑过程中容易出现崩溃、画面无响应、操作卡顿延迟等问题。比如，目前市场上大量使用GPUImage框架来进行开发的应用，在内存管理这块基本依赖于框架本身自带的内存管理机制，无法精确控制内存资源使用和释放的时机，对编辑稳定性的优化非常有限。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种支持多图层特效及动画混合的多媒体处理装置，以解决现有技术中图层滤镜特效、层级调整、混合的实现或效率上的限制以及内存、GPU等资源的利用不够充分合理导致用户的个性化特效视频创作需求无法得到稳定、及时、高效的满足的问题。

为实现以上目的，本发明采用如下技术方案：一种支持多图层特效及动画混合的多媒体处理装置，包括：数据模块、系统桥接模块、图层解析模块、渲染计算模块、预览控制模块、编码导出模块以及资源管理模块；

所述数据模块用于构建数据模型并获取输入数据，并根据所述输入数据更新数据模型中的数据；

所述系统桥接模块用于接收更新后的数据，并根据更新后的数据构建可编解码的音视频编解码数据模型，所述音视频编解码数据模型用于触发所述图像解析模块进行解析以及渲染计算模块进行渲染的指令；

接收到解析和渲染指令后，所述资源管理模块接收所述图层解析模块以及渲染计算模块的多种纹理资源请求，根据请求创建待预览/导出的目标画布纹理数据；

所述图层解析模块用于在渲染时根据渲染帧所在的时间戳，获取到每一图层的图像纹理数据，对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理；

所述渲染计算模块用于由下向上对每个图层的源纹理进行预处理、叠加特效、关键帧动画的插值计算以及特效动画处理，获取每个图层绘制所需的所有数据并绘制到预设的与目标画布等大的临时画布纹理中，合成临时画布纹理与当前画布纹理生成画布纹理数据，作为下一图层处理的画布源数据，对所有图层进行遍历处理后，获取当前的画布纹理作为最终渲染结果；所述最终渲染结果包括时间戳以及时间戳对应的视频帧；

所述预览控制模块用于控制播放的开始和暂停、查找预设播放时间以及根据当前时间戳获取并展示当前时间戳对应的视频帧；

所述编码导出模块用于将导出每个时间戳对应的视频帧并输出为单一的多媒体文件并保存至文件夹中，所述多媒体文件包括一条视频轨和一条音频轨。

进一步的，所述数据模型包括：

由下至上多个图层，多个图层包括：视频图层、图像图层、序列帧图层以及文本图层；

其中，每一图层均记录的属性有关键帧点数组、特效数组、图层生效起始时间、图层生效结束时间、资源尺寸、资源方向、裁剪、遮罩、LUT滤镜、氛围、亮度、对比度、曝光度、饱和度、白平衡以及暗角。

进一步的，所述构建可编解码的音视频源编解码数据模型，包括：

对所有需解码和渲染的音视频源按其在所述数据模型中的起始时间进行从小到大的排序；

按小到大地的排序遍历所有音视频源并进行处理，对每个待处理的音视频源，判断已经创建的音视频轨道中是否存在与当前音视频源作用时间无重叠的音视频轨道；

确定在已经创建的音视频轨道中至少存在一条无重叠的音视频轨道后，将待处理的音视频源插入到所述无重叠的音视频轨道中；

如果在已经创建的音视频轨道中不存在无重叠的音视频轨道，则创建一条新的音视频轨道，将待处理的音视频源插入新创建的音视频轨道中，再将新创建的音视频轨道加入到轨道列表；

遍历处理所有音视频源后得到可编解码的音视频源编解码数据模型。

进一步的，所述对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理，包括：

根据图层的类型，对图像纹理数据进行解析；

如果图层的类型为视频类型，则将解析获取到的YUV格式的图片数据通过GPU处理转成BGRA格式的图片数据；

如果图层的类型为图片、贴纸、文本类型，则加载预设的文字纹理或图像纹理；

如果图层的类型为序列帧类型，则根据当前渲染帧时刻加载预设置的对应的纹理。

进一步的，所述对每个图层的源纹理进行预处理，包括：

方向矫正，局部裁剪，应用遮罩，应用色度滤镜，调整源纹理的氛围、亮度、对比度、曝光度、饱和度、白平衡、色调以及暗角，应用LUT3D滤镜。

进一步的，对每个图层的源纹理进行叠加特效，包括：

将上一层级的特效输出作为输入源，如果没有上一层级的特效输出，则将预处理阶段输出的纹理作为输入源；

判断特效所需的数据格式，将输入源打包转换成特效所需格式后与相对于当前图层的偏移时间戳一起传入特效中作为输入；

应用特效，特效为预定义好的特效，或自定义特效；

判断特效的输出是否为可直接使用的图像纹理；

确定所述图像纹理可直接使用后，直接输出图像纹理并作为下一级特效的输入纹理；

如果输出的纹理无法直接使用，则创建一个与源纹理同等大小的目标纹理，执行预设的GPU渲染流程将特效的输出纹理绘制到新创建的目标纹理中，将所述目标纹理作为下一级特效的输入纹理。

进一步的，对每个图层的源纹理进行关键帧动画的插值计算，包括：

当对图层大小、旋转角度、透明度进行插值计算时，选取距离当前渲染时刻最近的两个关键帧点进行线性插值，并采用缓动曲线对线性插值进行调节，通过对计算出的当前时间戳在相邻的两个关键帧点之间的百分比应用缓动曲线，调节运动速率的变化趋势，获取速度变化效果；

当对位置进行插值计算时，对于直线型运动轨迹的插值，选取前后最近的两个关键帧点的位置进行插值，采用缓存曲线做速率调整；对于多个关键帧点间平滑曲线型插值，采用Catmull-rom曲线、高斯积分以及牛顿迭代法快速求出插值的位置结果，并使用缓动曲线对运动速率进行调整；其中，Catmull-rom曲线用于拟合出一条平滑经所有关键帧位置点的曲线；高斯积分用于在给定参数下快速计算出曲线已运动距离；牛顿迭代法配合高斯积分，用于快速逼近目标运动距离所对应的参数，根据迭代输出的参数计算出最终目标位置点。

进一步的，对每个图层的源纹理进行特效动画处理，包括：

通过线性插值与缓动曲线对关键帧插值阶段计算出的属性及位置进行二次调整；

预先计算当前时刻往后一段时间的图层的数据，利用两个关键帧快照之间属性的差除以时间间隔，得到图层在当前时刻的各项参数的变化率，如果动画本身不涉及空间运动或是属性变化，则认为对应的变化率为0；

生成一张与画布同等大小的纹理作为目标纹理；

对于带特效的动画，将生成的目标纹理作为特效的目标输出纹理，将源纹理、调整后的关键帧属性以及属性的变化率一起作为输入参数，执行该特效；

对于不带特效的动画，将生成的目标纹理作为输出目标纹理，将源纹理、调整后的关键帧属性以及属性的变化率一起作为输入参数传入到预设的目标纹理上；

将生成的目标纹理作为下一个处理阶段的输入纹理，并释放输入纹理，使其回到资源管理模块中重复利用。

进一步的，所述资源管理模块还用于，纹理的申请与回收复用、无用纹理资源的释放。

进一步的，所述输入数据包括下列数据中的一种或多种：

视频、图片、实况图片、文字、序列帧、滤镜、特效。

本发明采用以上技术方案，能够达到的有益效果包括：本发明提供了一套灵活高效，功能丰富可扩展性强，稳定性高的渲染流程。本申请通过将用户的各种输入源最终转化为图像纹理数据，使得可对不同类型素材用同一套的处理逻辑和渲染流程进行预处理、特效应用、数据插值以及特效动画应用等处理，从而支持对不同类型的素材自由应用特效和动画，以及对多图层间层级关系的自由调整和混合。同时通过对渲染过程中纹理、滤镜特效等资源的创建与清除的严格控制，有效地提升了编辑过程中的稳定性，为用户带来更好的特效视频编辑体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种支持多图层特效及动画混合的多媒体处理装置的结构示意图；

图2为本发明提供的数据模型的结构示意图；

图3为本发明提供的数据模型的另一种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的支持多图层特效及动画混合的多媒体处理装置。

如图1所示，本申请实施例中提供的支持多图层特效及动画混合的多媒体处理装置包括，数据模块、系统桥接模块、图层解析模块、渲染计算模块、预览控制模块、编码导出模块以及资源管理模块；

所述数据模块用于构建数据模型并获取输入数据，并根据所述输入数据更新数据模型中的数据；

所述系统桥接模块用于接收更新后的数据，并根据更新后的数据构建可编解码的音视频编解码数据模型，所述音视频编解码数据模型用于触发所述图像解析模块进行解析以及渲染计算模块进行渲染的指令；

接收到解析和渲染指令后，所述资源管理模块接收所述图层解析模块以及渲染计算模块的多种纹理资源请求，根据请求创建待预览/导出的目标画布纹理数据；

所述图层解析模块用于在渲染时根据渲染帧所在的时间戳，获取到每一图层的图像纹理数据，对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理；

所述渲染计算模块用于由下向上对每个图层的源纹理进行预处理、叠加特效、关键帧动画的插值计算以及特效动画处理，获取每个图层绘制所需的所有数据并绘制到预设的与目标画布等大的临时画布纹理中，合成临时画布纹理与当前画布纹理生成画布纹理数据，作为下一图层处理的画布源数据，对所有图层进行遍历处理后，获取当前的画布纹理作为最终渲染结果；所述最终渲染结果包括时间戳以及时间戳对应的视频帧；

其中，渲染的主流程如下：

预处理->叠加特效->关键帧动画插值->应用特效动画并绘制到与目标画布等大的临时画布纹理中->与目标画布做混合得到当前图层的渲染结果->将此结果作为下一个图层的目标画布，重复上述循环。

所述预览控制模块用于控制播放的开始和暂停、查找预设播放时间以及根据当前时间戳获取并展示当前时间戳对应的视频帧；

所述编码导出模块用于将导出每个时间戳对应的视频帧并输出为单一的多媒体文件并保存至文件夹中，所述多媒体文件包括一条视频轨和一条音频轨。

支持多图层特效及动画混合的多媒体处理装置的工作流程为：

1，用户选择不同类型的数据输入，如视频、图片、实况图片、文字、序列帧又或者是一个滤镜、特效；

2，解析用户第1步中的输入，更新数据模块中的数据。

3，根据数据模块中更新的数据，重新构建iOS系统支持的音视频编解码数据模型。可以理解的是，受限于解码器本身的能力，应最小化创建的视频轨道数。因此，需要将所有可能会用于渲染的视频源的视频轨道无时间重叠的放置在的尽可能少的视频轨上。方法流程为：

(1)对所有需解码和渲染的视频源按其在数据模型中的起始时间进行从小到大的排序；

(2)从小到大地遍历此排序完成的数组并进行处理，对每个待处理的视频原理，每次都从已经存在的视频轨道中选取一条与当前视频源作用时间无重叠的视频轨道；

(3)如果可以选出这样一条视频轨道，将本轮待处理的视频源插入到选出的视频轨道中；

(4)如果在现存在的所有视频轨道中无法选出时间无重叠的视频轨道，则创建一条新的视频轨道，再对本轮待处理的视频源的做插入处理；

(5)音频轨道同理；

(6)循环结束时即可完成iOS系统支持的音视频编解码数据模型的构建。

4，此时可将第3步构建出的音视频模型传入到预览控制模块或是编码导出模块。这将触发图层解析模块以及渲染计算模块开始解析和渲染。

5，收到开始渲染的指令后，图层解析模块、渲染计算模块以及资源管理模块将配合展开工作。首先资源管理模块启动并开始受理解析模块以及渲染计算模块的各种纹理资源请求。在申请创建完成待预览/导出的目标画布纹理后，图层解析模块以及渲染计算模块将遍历所有图层，根据每轮的图层的类型及数据，首先判定该图层在当前渲染时间戳是否需要渲染。如不需要渲染，根据程序局部性原理以及图层渲染在时间轴上具有连续性的特性，可以认为该图层短期内无需渲染，此时可以暂时释放该图层持有的各类资源，腾出资源供其余图层使用。如需要渲染，首先图层解析模块将根据当前图层类型获取源图像纹理数据。此处应当指出的是，为统一和兼容后续步骤的滤镜、特效等处理，解析模块生成的图片类型需为BGRA格式的图片数据。为了最大化内存和性能的总收益，解析过程中将对视频图层解码出来的YUV格式的数据通过GPU处理进行转码。解析模块将当前图层数据解析后，不同类型的图层将得到统一类型的纹理源，并交由渲染计算模块进行后续处理，渲染计算模块的处理步骤如下：

S101，对源纹理进行预处理，包括：方向矫正，局部裁剪，应用遮罩，应用色度滤镜，调整源纹理的氛围、亮度、对比度、曝光度、饱和度、白平衡、色调以及暗角等参数，应用LUT3D滤镜等。此处应当指出的是，以上的预处理操作可根据实际业务的需求增加、删除渲染节点或调整渲染节点顺序。同时，整个预处理流程既可以分成多个独立渲染节点进行，也可以合并为一个或少数几个渲染节点进行。但受限于目前移动端设备的机能，应当如同本系统一样进行多个流程节点的合并，以最小化性能开销。

S102，将当前渲染时间戳转化为在此图层上的时间戳，依次遍历图层所持有的特效，判断每一个特效在当前的图层时间戳是否生效。如不生效，暂时释放特效持有的资源。如生效，将图层时间戳以及预处理完成后输出的纹理作为输入，应用该特效渲染生成新的纹理，并将此纹理作为下一个特效的纹理输入源。递归操作直至当前图层的所有特效均应用完成。将最后一级特效的输出作为下一个处理阶段的输入。

S103，通过对用户自定义的关键帧点的进行插值计算，计算出当前时刻图层的大小、旋转角度、位置、透明度等信息的基准值。插值计算的方式见本部分的后续补充。

S104，生成与画布等大的临时纹理，对S103生成的基准数据应用动画，计算出应用动画之后图层的实际大小、旋转角度、位置、透明度以及上述信息在当前时刻的导数，将步骤S102生成的纹理作为输入，绘制到此临时画布纹理中去。

S105，将S104生成的临时纹理与当前的画布纹理应用混合模式进行合成，生成新的画布纹理数据。作为下一个图层处理的画布源数据。

S106，完成所有图层的遍历处理后，关闭资源管理模块并释放掉本次渲染过程中没有使用到的各类纹理资源，获取当前画布纹理内容作为最终渲染结果并输出。

6，在预览控制模块中根据当前时间戳获取到在渲染模块中提前渲染好的视频帧，并显示。

7，在编码导出模块中，获取到导出视频的每个时刻的视频帧，并写入到本地文件中。

一些实施例中，如图2和图3所示，所述数据模型包括：

由下至上多个图层，多个图层包括：视频图层、图像图层、序列帧图层以及文本图层；

其中，每一图层均记录的属性有关键帧点数组、特效数组、图层生效起始时间、图层生效结束时间、资源尺寸、资源方向、裁剪、遮罩、LUT滤镜、氛围、亮度、对比度、曝光度、饱和度、白平衡以及暗角。

可以理解的是，图层的数量理论上可以是任意数量的。任意位置上的图层类型可以是任意的。也就是说，任意的第i个图层，可以是视频类型、可以是图片类型、可以是序列帧类型、也可以是文本类型。不同类型的图层有共有的属性：大小、旋转角度、位置、透明度、视频/图像/文本/序列帧资源尺寸，资源方向、生效时间段、蒙版、色度、使用的LUT滤镜、使用的曝光色温白平衡等调整参数、以及使用的特效。

可以理解的是：如图3所示，不同类型的图层有各自独立的属性。例如视频图层会有资源文件名、资源的视频轨道ID属性表示其持有的视频资源的视频轨道的标示符，还会有资源时间段属性表示其使用的视频源的时间段。文本类型的图层还有会文本内容、颜色、字体、字色、描边(宽度、颜色)、阴影(颜色、角度、偏移量、模糊程度)、背景色、对齐方式、文字气泡等属性。图片图层具有资源文件名属性。

具体的，如图2所示，每一个图层均记录有关键帧点数组、特效数组、图层生效起始时间、图层生效结束时间、资源尺寸、资源方向、裁剪、遮罩、LUT滤镜、氛围、亮度、对比度、曝光度、饱和度、白平衡以及暗角等属性。不同类型的图层还有自己单独的属性，如文本类型图层还记录了其文本内容、字体、字色、对齐方式、描边、阴影、行间距、列间距、背景色、文字气泡等属性。其中，图层内的每个特效都有自己单独的生效时间段，只有在特效的生效的时间段内，图层才应用该特效。需要特别说明的是，为了支持用户自定义动画，本系统将图层的大小、旋转角度、位置、透明度等信息整合为一个整体，命名为关键帧点。图层在不同时刻可以有不同的关键帧点快照。任意一个时刻图层实际的数据信息将由前后的0到多个关键帧点依据插值算法算出。图层在渲染时用的数据，实际是根据当前时刻进行插值后的关键帧的数据。

一些实施例中，所述构建可编解码的音视频源编解码数据模型，包括：

对所有需解码和渲染的音视频源按其在所述数据模型中的起始时间进行从小到大的排序；

按小到大地的排序遍历所有音视频源并进行处理，对每个待处理的音视频源，判断已经创建的音视频轨道中是否存在与当前音视频源作用时间无重叠的音视频轨道；

确定在已经创建的音视频轨道中至少存在一条无重叠的音视频轨道后，将待处理的音视频源插入到所述无重叠的音视频轨道中；

如果在已经创建的音视频轨道中不存在无重叠的音视频轨道，则创建一条新的音视频轨道，将待处理的音视频源插入新创建的音视频轨道中，再将新创建的音视频轨道加入到轨道列表；

遍历处理所有音视频源后得到可编解码的音视频源编解码数据模型。

也就是说，构建开始时是没有音视频轨道的，因此在插入第一个音视频源时，由于没有任何轨道，将创建一条新的音视频轨道然后将音视频源插入。第二轮处理第二个音视频源的时候，由于已有一条第一轮的时候创建的轨道，此时应先判断先前创建的轨道中是否存在任意一条轨道与待处理的音视频源无重叠。如果存在任意一条轨道与之无重叠，将音视频源插入符合条件的轨道中。如果无法找到任何一条满足条件的轨道，再次创建一条新的轨道，插入音视频源，此时将有两条已经创建的轨道。后续处理第三、四、五乃至第N个音视频源的时，以此类推。

一些实施例中，所述对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理，即图层解析模块的处理流程为：

根据图层的类型进行不同的处理。对于视频类型的图层，将解析获取到的YUV格式的图片数据通过GPU处理转成BGRA格式的纹理数据并传给渲染计算模块进行处理。对于图片/贴纸/文本类型的图层，如果当前时刻需要渲染该图层，根图层资源的唯一标识符，先尝试从内存缓存中读取图片/贴纸/文本的纹理，如果命中缓存，返回该纹理，否则从本地磁盘中加载该图片资源，并缓存至内存中以备下次使用。这里应指出的是，对于文本类型的图层，应在构建图层数据的时候提前计算并绘制好文字的纹理，保存到本地资源中。对于序列帧类型的图层，需要根据当前渲染帧的时刻，从本地实时加载对应的纹理。

一些实施例中，对每个图层的源纹理进行叠加特效，其中，

每个图层均可添加一个或多个特效。每个特效均有自己的作用时间段。本系统会根据当前渲染的时间戳计算出特效相对于图层的时间偏移值，对不在作用时间段内的特效，将不会触发渲染并会回收其占用的纹理等内存资源。对于在作用时间段内的特效，操作流程如下：

将上一层级的特效输出作为输入源，如果没有上一层级的特效输出，则将预处理阶段输出的纹理作为输入源。

检测特效所需要的数据格式。将数据源打包转换成特效所需格式后与相对于当前图层的偏移时间戳一起传入特效中作为输入。

应用特效，特效可以是本系统预定义好的特效，也可以由系统外界自由定义。通过一个可定制的外部接口，给外部系统提供灵活性与扩展性。

检测特效的输出是否是系统可直接使用的图像纹理。

如果输出的纹理可以直接使用。直接将输出的纹理作为下一级特效的输入纹理。

如果输出的纹理无法直接使用，申请一个与源纹理同等大小的目标纹理，执行一次本系统预定义的GPU渲染流程将特效的输出回写到目标纹理中。将目标纹理作为下一级特效的输入纹理。

一些实施例中，对每个图层的源纹理进行关键帧动画的插值计算，即图层渲染计算模块中关于关键帧动画的插值计算流程为：

目前每个关键帧快照中主要包含快照时间戳、图层的大小、位置、旋转角度、透明度等信息。

对于大小、旋转角度以及透明度等参数，本系统将选取离当前渲染时刻前后最近的两个关键帧点进行线性插值，并采用缓动曲线(EasingFunction)对线性插值的速率进行调节，通过对计算出的当前时间戳在相邻的两个关键帧点之间的百分比应用一次缓动曲线，即可调节运动速率的变化趋势，达到先快后慢、先慢后快、两头快中间慢、两头慢中间快等丰富的速度变化效果。如果当前时间戳无法找到前一个或后一个的关键帧节点。选择最近的一个关键帧点作为插值结果返回即可。

对于位置的插值，本发明除了常规的直线运动轨迹外，还支持平滑曲线运动轨迹。对于直线型运动轨迹的插值，同样只需选取前后最近的两个关键帧点的位置进行插值，使用缓存曲线做速率调整即可。对于多个关键帧点间平滑曲线型插值，则需使用到Catmull-rom曲线、高斯积分以及牛顿迭代法；利用上述算法需要借助前后各两个总计4个关键帧点。核心流程为，先求出前后两个最近的关键帧点的插值百分比，使用缓动曲线进行调整，计算出实际插值百分比。然后使用高斯积分快速求出两个关键帧点间的距离，乘上实际的插值百分比得出实际运动距离。最终通过高斯积分和牛顿迭代法逼近并得到目标位置点。

一些实施例中，对每个图层的源纹理进行特效动画处理，其中，

每一种特效型的动画均可拆解为空间运动、属性运动以及特效三个子模块。其中部分特效动画可能无需其中的一个或多个子模块。对于这类型的动画，本系统只需不执行对应的逻辑即可。特效动画的流程为：

通过线性插值与缓动曲线对关键帧插值阶段计算出的属性进行二次调整；

提前计算当前时刻往后极小一段时间的图层的数据。利用两个关键帧快照各属性的差除以时间间隔近似得到图层在当前时刻的各项参数的变化率，如果动画本身不涉及空间运动或是属性变化，则认为对应的变化率为0；

生成一张与画布同等大小的纹理作为目标纹理。

对于带特效的动画，将生成的目标纹理作为特效的目标输出纹理，将源纹理以及上述步骤中的计算结果一起作为输入，执行该特效。

对于不带特效的动画，执行本系统预定义好的OpenGLES代码，将生成的目标纹理作为输出目标纹理，将源纹理以及上述步骤中的计算结果作为输入参数传入到预定义好的OpenGLES Shader中，应用Shader将图层绘制到目标纹理上。

其中计算结果包括调整后的关键帧属性(包含位置、透明度、大小、旋转角度等信息)以及属性的变化率。

将绘制好的生成的目标纹理作为下一个处理阶段的输入纹理，并释放输入纹理，让其回到资源管理模块中供重复利用。

一些实施例中，所述资源管理模块还用于，纹理的申请与回收复用、无用纹理资源的释放。

整个资源管理模块主要分成：1)纹理的申请与回收复用；2)无用纹理资源的释放。当开始渲染某一帧时，资源管理模块会记录申请过的每一种不同尺寸的纹理，对每一次申请，资源管理器会检测其纹理尺寸与格式，通过纹理尺寸与格式从纹理缓存池中取出正确的纹理返回给申请者。申请者获取到纹理后调用对应的CPU或GPU处理逻辑对纹理进行滤镜和特效的应用、数据填充等操作。并在使用完纹理后释放对该纹理的控制权/引用，让其返回纹理池中供后续复用。在一帧的渲染结束时，资源管理模块会统计当前帧使用过的纹理缓存池，对于未使用过的纹理缓存池，将释放池中所有的纹理资源。此设计基于如下前提：1)程序中的部分数据，如果在当前时刻未被使用到，那么在未来较长一段时间内它也不会被使用到，即程序的局部性原理；2)由于图层有作用时间段的概念，当前帧与下一帧使用到的数据在绝大多数情况下是相似的，变化和差异较大的情况只是少数。此时，对于当前未被使用到的纹理数据，我们可以假设它们在下一帧中会被使用到的概率很低。

进一步地，资源管理器对滤镜纹理的管理遵循同样的原则。并且在退出整个视频的编辑时，本系统将释放掉所有的纹理资源。以尽可能保证外部其它系统或模块有足够的资源进行使用。

优选的，所述输入数据包括下列数据中的一种或多种：

视频、图片、实况图片、文字、序列帧、滤镜、特效。

综上所述，本发明提供一种支持多图层特效及动画混合的多媒体处理装置，本发明通过将用户的各种输入源最终转化为图像纹理数据，使得可对不同类型素材用同一套的处理逻辑和渲染流程进行预处理、特效应用、数据插值以及特效动画应用等处理，从而支持对不同类型的素材自由应用特效和动画，以及对多图层间层级关系的自由调整和混合。同时通过对渲染过程中纹理、滤镜特效等资源的创建与清除的严格控制，有效地提升了编辑过程中的稳定性，为用户带来更好的特效视频编辑体验。

可以理解的是，上述提供的系统实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种支持多图层特效及动画混合的多媒体处理装置，其特征在于，包括：数据模块、系统桥接模块、图层解析模块、渲染计算模块、预览控制模块、编码导出模块以及资源管理模块；

所述数据模块用于构建数据模型并获取输入数据，并根据所述输入数据更新数据模型中的数据；

所述系统桥接模块用于接收更新后的数据，并根据更新后的数据构建可编解码的音视频编解码数据模型，所述音视频编解码数据模型用于触发所述图像解析模块进行解析以及渲染计算模块进行渲染的指令；

接收到解析和渲染指令后，所述资源管理模块接收所述图层解析模块以及渲染计算模块的多种纹理资源请求，根据请求创建待预览/导出的目标画布纹理数据；

所述图层解析模块用于在渲染时根据渲染帧所在的时间戳，获取到每一图层的图像纹理数据，对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理；

所述渲染计算模块用于由下向上对每个图层的源纹理进行预处理、叠加特效、关键帧动画的插值计算以及特效动画处理，获取每个图层绘制所需的所有数据并绘制到预设的与目标画布等大的临时画布纹理中，合成临时画布纹理与当前画布纹理生成画布纹理数据，作为下一图层处理的画布源数据，对所有图层进行遍历处理后，获取当前的画布纹理作为最终渲染结果；所述最终渲染结果包括时间戳以及时间戳对应的视频帧；

所述预览控制模块用于控制播放的开始和暂停、查找预设播放时间以及根据当前时间戳获取并展示当前时间戳对应的视频帧；

所述编码导出模块用于将导出每个时间戳对应的视频帧并输出为单一的多媒体文件并保存至文件夹中，所述多媒体文件包括一条视频轨和一条音频轨。

2.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，所述数据模型包括：

由下至上多个图层，多个图层包括：视频图层、图像图层、序列帧图层以及文本图层；

其中，每一图层均记录的属性有关键帧点数组、特效数组、图层生效起始时间、图层生效结束时间、资源尺寸、资源方向、裁剪、遮罩、LUT滤镜、氛围、亮度、对比度、曝光度、饱和度、白平衡以及暗角。

3.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，所述构建可编解码的音视频源编解码数据模型，包括：

对所有需解码和渲染的音视频源按其在所述数据模型中的起始时间进行从小到大的排序；

按小到大地的排序遍历所有音视频源并进行处理，对每个待处理的音视频源，判断已经创建的音视频轨道中是否存在与当前音视频源作用时间无重叠的音视频轨道；

确定在已经创建的音视频轨道中至少存在一条无重叠的音视频轨道后，将待处理的音视频源插入到所述无重叠的音视频轨道中；

如果在已经创建的音视频轨道中不存在无重叠的音视频轨道，则创建一条新的音视频轨道，将待处理的音视频源插入新创建的音视频轨道中，再将新创建的音视频轨道加入到轨道列表；

遍历处理所有音视频源后得到可编解码的音视频源编解码数据模型。

4.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，所述对所述图像纹理数据进行解析，得到统一类型的每个图层的源纹理，包括：

根据图层的类型，对图像纹理数据进行解析；

如果图层的类型为视频类型，则将解析获取到的YUV格式的图片数据通过GPU处理转成BGRA格式的图片数据；

如果图层的类型为图片、贴纸、文本类型，则加载预设的文字纹理或图像纹理；

如果图层的类型为序列帧类型，则根据当前渲染帧时刻加载预设置的对应的纹理。

5.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，所述对每个图层的源纹理进行预处理，包括：

方向矫正，局部裁剪，应用遮罩，应用色度滤镜，调整源纹理的氛围、亮度、对比度、曝光度、饱和度、白平衡、色调以及暗角，应用LUT3D滤镜。

6.根据权利要求5所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，对每个图层的源纹理进行叠加特效，包括：

将上一层级的特效输出作为输入源，如果没有上一层级的特效输出，则将预处理阶段输出的纹理作为输入源；

判断特效所需的数据格式，将输入源打包转换成特效所需格式后与相对于当前图层的偏移时间戳一起传入特效中作为输入；

应用特效，特效为预定义好的特效，或自定义特效；

判断特效的输出是否为可直接使用的图像纹理；

确定所述图像纹理可直接使用后，直接输出图像纹理并作为下一级特效的输入纹理；

如果输出的纹理无法直接使用，则创建一个与源纹理同等大小的目标纹理，执行预设的GPU渲染流程将特效的输出纹理绘制到新创建的目标纹理中，将所述目标纹理作为下一级特效的输入纹理。

7.根据权利要求2所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，对每个图层的源纹理进行关键帧动画的插值计算，包括：

当对图层大小、旋转角度、透明度进行插值计算时，选取距离当前渲染时刻最近的两个关键帧点进行线性插值，并采用缓动曲线对线性插值进行调节，通过对计算出的当前时间戳在相邻的两个关键帧点之间的百分比应用缓动曲线，调节运动速率的变化趋势，获取速度变化效果；

当对位置进行插值计算时，对于直线型运动轨迹的插值，选取前后最近的两个关键帧点的位置进行插值，采用缓存曲线做速率调整；对于多个关键帧点间平滑曲线型插值，采用Catmull-rom曲线、高斯积分以及牛顿迭代法快速求出插值的位置结果，并使用缓动曲线对运动速率进行调整；其中，Catmull-rom曲线用于拟合出一条平滑经所有关键帧位置点的曲线；高斯积分用于在给定参数下快速计算出曲线已运动距离；牛顿迭代法配合高斯积分，用于快速逼近目标运动距离所对应的参数，根据迭代输出的参数计算出最终目标位置点。

8.根据权利要求7所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，对每个图层的源纹理进行特效动画处理，包括：

通过线性插值与缓动曲线对关键帧插值阶段计算出的属性及位置进行二次调整；

预先计算当前时刻往后一段时间的图层的数据，利用两个关键帧快照之间属性的差除以时间间隔，得到图层在当前时刻的各项参数的变化率，如果动画本身不涉及空间运动或是属性变化，则认为对应的变化率为0；

生成一张与画布同等大小的纹理作为目标纹理；

对于带特效的动画，将生成的目标纹理作为特效的目标输出纹理，将源纹理、调整后的关键帧属性以及属性的变化率一起作为输入参数，执行该特效；

对于不带特效的动画，将生成的目标纹理作为输出目标纹理，将源纹理、调整后的关键帧属性以及属性的变化率一起作为输入参数传入到预设的目标纹理上；

将生成的目标纹理作为下一个处理阶段的输入纹理，并释放输入纹理，使其回到资源管理模块中重复利用。

9.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，

所述资源管理模块还用于，纹理的申请与回收复用、无用纹理资源的释放。

10.根据权利要求1所述的支持多图层特效及动画混合的多媒体处理装置，其特征在于，所述输入数据包括下列数据中的一种或多种：

视频、图片、实况图片、文字、序列帧、滤镜、特效。

Images