CN118860621A - 动画渲染方法、终端设备和计算机可读存储介质 - Google Patents
动画渲染方法、终端设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN118860621A CN118860621A CN202310488791.6A CN202310488791A CN118860621A CN 118860621 A CN118860621 A CN 118860621A CN 202310488791 A CN202310488791 A CN 202310488791A CN 118860621 A CN118860621 A CN 118860621A
- Authority
- CN
- China
- Prior art keywords
- frame
- resource scheduling
- animation
- frame loss
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000012545 processing Methods 0.000 claims description 60
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 42
- 238000001514 detection method Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 31
- 230000006854 communication Effects 0.000 description 31
- 238000007726 management method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 239000010985 leather Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例适用于终端技术领域,提供了一种动画渲染方法、终端设备和计算机可读存储介质。应用该方法,可以对终端设备渲染一帧动画帧所用的渲染时间进行检测,从而根据不同的帧渲染时间确定不同的资源调度类型,并按照确定的类型调度资源用于对未渲染的其他动画帧进行渲染。本方法可以自适应地对动画渲染所需的资源进行调度,精准、高效地实现不同类型下的资源调度,提高动画播放的清晰度和流畅性。
Description
技术领域
本申请实施例涉及终端技术领域,尤其涉及一种动画渲染方法、终端设备和计算机可读存储介质。
背景技术
通常,动画是由多个动画帧组成的,终端设备播放动画的过程也就是对多个动画帧进行持续地渲染并播放的过程。
播放不同的动画所需的终端设备资源不同。示例性地,播放大型的、复杂的动画需要的资源相对较多,播放简单的动画需要的资源相对较少。由于终端设备的中央处理器、图像处理器等资源的供给各不相同,终端设备在播放动画的过程中容易出现丢帧的情况。丢帧可以是指终端设备在播放动画时,未能完整地渲染出其中一个或多个动画帧,从而造成动画播放出现模糊、卡顿的情况。
现有技术中,在需要持续渲染多个动画帧的场景中,为了避免丢帧情况的发生,终端设备往往是按照时间间隔来进行提频,增加资源的供给。示例性地,终端设备可以每隔250毫秒提频一次,直至动画结束。但是,这种提频方式在动画较简单时应用效果较好,对于复杂的动画场景,应用上述提频方式仍然效果不佳。
发明内容
本申请实施例提供的一种动画渲染方法、终端设备和计算机可读存储介质,用以解决现有技术中渲染动画时容易因为丢帧出现画面模糊、卡顿的问题。
为达到上述目的,本申请实施例采用如下技术方案:
第一方面,提供一种动画渲染方法,包括:
响应于在终端设备的屏幕上的点击事件,终端设备开始渲染动画;
终端设备对动画中已渲染的动画帧的帧渲染时间进行检测;
终端设备根据帧渲染时间确定未渲染的动画帧的资源调度类型;
终端设备按照上述资源调度类型调度资源,该资源可以用于终端设备对未渲染的动画帧进行渲染;其中,不同的资源调度类型下调度的资源所提供的处理能力不同。
应用本申请实施例提供的动画渲染方法,可以根据已渲染的动画的帧渲染时间,确定不同的资源调度类型,并按照相应的类型进行资源的调度。本申请实施例可以针对不同的帧渲染时间进行精细化地区分,自适应地对动画渲染所需的资源进行调度,精准、高效地实现不同类型下的资源调度,有助于解决动画渲染过程中由于资源调度不及时、不合理造成的动画画面模糊、卡顿的情况,提高动画播放的清晰度和流畅性。
在第一方面的一种可能的实现方式中,不同的资源调度类型至少可以包括第一资源调度类型和第二资源调度类型。其中,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。这样,终端设备可以根据动画渲染过程中的实际情况,选择合适的资源调度类型,保证所调度的资源提供的处理能力符合实际的渲染需求。
在第一方面的一种示例中,终端设备在第二资源调度类型下调度的资源的数量可以多于在第一资源调度类型下调度的资源的数量。
在第一方面的另一种示例中,终端设备在第二资源调度类型下调度的资源的频率可以高于在第一资源调度类型下调度的资源的频率。
在第一方面的又一种示例中,终端设备在第二资源调度类型下调度的资源的数量可以少于在第一资源调度类型下调度的资源的数量,但终端设备在第二资源调度类型下调度的至少一种资源的频率高于在第一资源调度类型下调度的资源的频率。
这样,终端设备可以通过提高资源的频率,和/或增加资源的数量来提高自身的处理能力,保证所调度的资源提供的处理能力能够满足动画渲染的需求,提高动画播放的清晰度和流畅性。
在第一方面的一种可能的实现方式中,终端设备对动画中已渲染的动画帧的帧渲染时间进行检测可以是指终端设备确定最近渲染完成的多帧动画帧的渲染时间的平均值。终端设备可以以该平均值作为选择相应的资源调度类型的标准。
在第一方面的另一种可能的实现方式中,终端设备对动画中已渲染的动画帧的帧渲染时间进行检测也可以是指终端设备对最近渲染完成的一帧动画帧的帧渲染时间进行检测。终端设备可以以最近渲染完成的一帧动画帧的帧渲染时间作为选择相应的资源调度类型的标准。根据最近渲染完成的一帧动画帧的帧渲染时间来选择资源调度类型,可以保证选定的资源调度类型更符合当前实际。
在第一方面的一种可能的实现方式中,终端设备根据帧渲染时间确定未渲染的动画帧的资源调度类型可以包括:终端设备根据帧渲染时间和丢帧时间阈值确定未渲染的动画帧的资源调度类型。通过将帧渲染时间与丢帧时间阈值进行比较,可以定量地确定资源调度类型,提高所确定的资源调度类型的准确性。
在第一方面的一种可能的实现方式中,终端设备可以根据帧渲染时间和丢帧时间阈值,确定已渲染的动画帧的丢帧情况;终端设备可以根据丢帧情况,确定未渲染的动画帧的资源调度类型。
在第一方面的一种示例中,丢帧时间阈值可以是单个阈值,即丢帧时间阈值可以是一个数值。当帧渲染时间小于丢帧时间阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第一丢帧情况;当帧渲染时间大于或等于丢帧时间阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第二丢帧情况。示例性地,第一丢帧情况可以是未丢帧,第二丢帧情况可以是已丢帧或即将丢帧。
其中,当丢帧情况为第一丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当丢帧情况为第二丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型。应理解,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
在第一方面的另一种示例中,丢帧时间阈值可以是双阈值,即丢帧时间阈值可以包括两个数值。例如,丢帧时间阈值可以包括第一阈值和第二阈值,其中第一阈值小于第二阈值,即第一阈值可以是较小的下限阈值,第二阈值可以是较大的上限阈值。这样,当帧渲染时间小于下限阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第一丢帧情况;当帧渲染时间大于或等于下限阈值且小于上限阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第二丢帧情况;当帧渲染时间大于或等于上限阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第三丢帧情况。
在一种示例中,第一丢帧情况可以是未丢帧,第二丢帧情况和第三丢帧情况可以是已丢帧,在第二丢帧情况和第三丢帧情况均为已丢帧的情况下,第三丢帧情况下的丢帧量大于第二丢帧情况下的丢帧量。在另一种示例中,第一丢帧情况可以是未丢帧,第二丢帧情况可以是即将丢帧,第三丢帧情况可以是已丢帧。通过确定不同的丢帧情况,终端设备可以选择合适的资源调度类型。
其中,当丢帧情况为第一丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当丢帧情况为第二丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型;当丢帧情况为第三丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第三资源调度类型。应理解,终端设备在第三资源调度类型下调度的资源所提供的处理能力强于在第二资源调度类型下调度的资源所提供的处理能力,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
示例性地,终端设备在第三资源调度类型下调度的资源的数量多于在第二资源调度类型下调度的资源的数量;和/或,终端设备在第三资源调度类型下调度的资源的频率高于在第二资源调度类型下调度的资源的频率。
在第一方面的一种可能的实现方式中,终端设备根据帧渲染时间和丢帧时间阈值确定未渲染的动画帧的资源调度类型时,可以直接根据帧渲染时间和丢帧时间阈值的比较结果确定相应的资源调度类型。
在一种示例中,丢帧时间阈值为单个数值。当帧渲染时间小于丢帧时间阈值时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当帧渲染时间大于或等于丢帧时间阈值时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型。其中,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
在另一种示例中,丢帧时间阈值为双数值,即丢帧时间阈值包括较小的下限阈值和较大的上限阈值。当帧渲染时间小于下限阈值时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当帧渲染时间大于或等于下限阈值且小于上限阈值时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型;当帧渲染时间大于或等于上限阈值时,终端设备可以确定未渲染的动画帧的资源调度类型为第三资源调度类型。应理解,终端设备在第三资源调度类型下调度的资源所提供的处理能力强于在第二资源调度类型下调度的资源所提供的处理能力,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
在第一方面的一种可能的实现方式中,终端设备根据丢帧情况,确定未渲染的动画帧的资源调度类型可以通过终端设备的渲染服务和资源调度服务之间的数据交互时间。具体地,终端设备的渲染服务可以向资源调度服务上报渲染一帧动画帧时的丢帧情况,终端设备的资源调度服务可以根据丢帧情况确定未渲染的动画帧的资源调度类型。其中,渲染一帧动画帧时的丢帧情况可以包括未丢帧、即将丢帧或已丢帧等。根据未丢帧、即将丢帧或已丢帧等丢帧情况确定的资源调度类型可以包括第一资源调度类型、第二资源调度类型和第三资源调度类型。第一资源调度类型可以是未丢帧情况下的资源调度类型,第二资源调度类型可以是即将丢帧情况下的资源调度类型,第三资源调度类型可以是已经丢帧情况下的资源调度类型。
在第一方面的一种可能的实现方式中,终端设备的渲染服务向资源调度服务上报丢帧情况时,可以根据当前的丢帧情况与前一次已上报的丢帧情况是否相同来决定是否继续向资源调度服务上报当前的丢帧情况。在一种示例中,只有在当前的丢帧情况与前一次已上报的丢帧情况不同时,终端设备的渲染服务才向资源调度服务上报当前的丢帧情况。这样,可以降低渲染服务由于频繁上报相同的丢帧情况带来的功耗损耗。
在第一方面的一种可能的实现方式中,在终端设备开始渲染动画之后,终端设备便可响应于点击事件,执行默认的资源调度操作。默认的资源调度操作可以是第一资源调度类型对应的操作。具体地,响应于点击事件,终端设备的渲染服务可以向资源调度服务上报资源调度开始事件;针对接收到的资源调度开始事件,终端设备的资源调度服务可以开始执行默认的资源调度操作。这样,终端设备在开始渲染动画时,便对资源进行了调度,可以保证动画开始时的清晰度和流畅性。
在第一方面的一种可能的实现方式中,在终端设备按照资源调度类型调度资源之后,当动画渲染结束时,终端设备可以停止资源调度操作,避免在不需要渲染动画的情况下持续地调度资源给终端设备带来的功耗损失。
第二方面,提供一种动画渲染装置,该装置可以是终端设备,也可以是终端设备中的芯片。该装置包括用于执行如上述第一方面任一项所述的动画渲染方法的模块。
第三方面,提供一种终端设备,该终端设备可以包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序。其中,处理器执行计算机程序时可以实现如上述第一方面任一项所述的动画渲染方法。
第四方面,提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在终端设备上运行时,使得终端设备执行相关方法步骤实现上述第一方面任一项所述的动画渲染方法。
第五方面,提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述第一方面任一项所述的动画渲染方法。
第六方面,提供一种芯片,该芯片可以包括存储器和处理器。其中,处理器可以执行存储器中存储的计算机程序,实现如上述第一方面任一项所述的动画渲染方法。
附图说明
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备的软件结构框图;
图3是本申请实施例提供的一种动画渲染过程的示意图;
图4是本申请实施例提供的一种资源调度过程的示意图;
图5是本申请实施例提供的一种资源调度方式的示意图;
图6是本申请实施例提供的一种资源调度事件上报过程的示意图;
图7是本申请实施例提供的一种动画渲染方法的示意图;
图8是本申请实施例提供的一种动画渲染装置的结构框图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一资源调度类型、第二资源调度类型等等仅仅是为了区分不同的资源调度类型,并不对其数量和执行次序等进行限定。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本申请实施例提供的一种动画渲染方法中所涉及到的步骤仅仅作为示例,并非所有的步骤均是必须执行的步骤,或者并非各个步骤中的内容均是必选的,在使用过程中可以根据需要酌情增加或减少。
本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
本申请实施例提供的动画渲染方法可以应用于终端设备中,上述终端设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、个人计算机(personal computer,PC)、上网本、个人数字助理(personal digital assistant,PDA)等具备视频播放功能的电子设备。本申请实施例对终端设备的具体类型不作限定。
示例性地,图1示出了一种电子设备100的结构示意图。上述终端设备的结构可以参考电子设备100的结构。
电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processingunit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器,和/或,神经网络处理器(neural-network processing unit,NPU)等。不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在本申请一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口、集成电路内置音频(inter-integratedcircuit sound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purposeinput/output,GPIO)接口、用户标识模块(subscriber identity module,SIM)接口,和/或,通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在本申请一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像头193等。例如,处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在本申请一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在本申请一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在本申请一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在本申请一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在本申请一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如,处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在本申请一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194、摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI)、显示屏串行接口(displayserial interface,DSI)等。
在本申请一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在本申请一些实施例中,GPIO接口可以用于连接处理器110与摄像头193、显示屏194、无线通信模块160、音频模块170、传感器模块180等。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口、MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。USB接口130也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、显示屏194、摄像头193、无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电,阻抗)等参数。
在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如,可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
在本申请一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在本申请一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后,解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A、受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。
在本申请一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT)、全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频、放大,经天线2转为电磁波辐射出去。
在本申请一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址接入(code division multiple access,CDMA)、宽带码分多址(wideband codedivision multiple access,WCDMA)、时分码分多址(time-division code divisionmultiple access,TD-SCDMA)、长期演进(long term evolution,LTE)、BT、GNSS、WLAN、NFC、FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS)、全球导航卫星系统(global navigation satellite system,GLONASS)、北斗卫星导航系统(beidou navigation satellite system,BDS)、准天顶卫星系统(quasi-zenithsatellite system,QZSS),和/或星基增强系统(satellite based augmentationsystems,SBAS)。
电子设备100通过GPU、显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在本申请一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在本申请一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在本申请一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如,动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如,图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本等)等。
此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器。例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在本申请一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”、“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个、四个或更多麦克风170C,实现采集声音信号、降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器、电感式压力传感器、电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
在本申请一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如,当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在本申请一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性地,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航、体感游戏场景。
气压传感器180C用于测量气压。在本申请一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度、辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在本申请一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合,进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在本申请一些实施例中,例如拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁、访问应用锁、指纹拍照、指纹接听来电等。
温度传感器180J用于检测温度。在本申请一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在本申请一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。
在本申请一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键、音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照、音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如,时间提醒、接收信息、闹钟、游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态、电量变化,也可以用于指示消息、未接来电、通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在本申请一些实施例中,电子设备100采用eSIM(即嵌入式SIM卡)。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构,或云架构。本申请实施例以分层架构系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在本申请一些实施例中,将系统分为四层,从上至下分别为应用程序层、应用程序框架层、系统运行时和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小、判断是否有状态栏、锁定屏幕、截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。
视图系统包括可视控件,例如显示文字的控件、显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如,通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串、图标、图片、布局文件、视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成、消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、电子设备振动、指示灯闪烁等。
系统运行时包括核心库和虚拟机。系统运行时负责系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。
系统库可以包括多个功能模块。例如,表面管理器(surface manager)、媒体库(Media Libraries)、三维图形处理库(例如,OpenGL ES)、2D图形引擎(例如,SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频、视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如,MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。
三维图形处理库用于实现三维图形绘图、图像渲染、合成,以及图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。
以下实施例以具有上述硬件结构/软件结构的终端为例,对本申请实施例提供的动画渲染方法进行说明。
本申请实施例中的动画渲染可以是指对动画帧或视频帧的渲染,渲染的过程也就是对动画帧或视频帧进行绘制的过程。因此,本申请实施例中所提及的动画渲染也可以被称为绘帧。即,在本申请实施例中,动画渲染和绘帧表示的是相同的操作。
本申请实施例提供的动画渲染方法,可以基于点击事件触发。该点击事件可以是触发动画播放的点击操作,也可以是在游戏场景下的游戏操作。示例性地,用户可以点击终端设备的屏幕,触发终端设备开始播放动画,当用户再次点击屏幕时,终端设备可以停止播放该动画。在两次点击操作之间,终端设备可以应用本申请实施例提供的动画渲染方法对动画帧进行渲染。或者,在游戏场景下,用户在终端设备屏幕上的一次操作可以看作是一次点击事件。当用户在终端设备的屏幕上点击一次后,终端设备可以基于点击事件采用本申请实施例提供的动画渲染方法对游戏过程中的动画帧进行渲染。
应用本申请实施例提供的动画渲染方法,可以在点击事件发生后的动画渲染过程中,由渲染服务(RenderService,RS)将资源调度事件发送至资源调度服务(ResourceScheduleService,RSS),由RSS持续地进行资源调度,增加CPU等资源的供给,避免动画播放过程中出现丢帧情况,保证动画播放效果,提升用户体验。在一种示例中,资源调度事件可以包括提频事件。响应于该提频事件,终端设备可以提高至少一种资源的频率。例如,在渲染动画的过程中,提高CPU的频率。
为了实现上述目的,可以在RSS中添加资源调度服务事件类型,以及点击后的动画渲染事件。例如,动画开始调度事件、资源调度类型事件和动画完成结束调度事件。
在本申请实施例的一种示例中,在RSS中添加的资源调度服务事件类型和点击后的动画渲染事件可以表示如下:
enum ClickAnimationType:int{
CLICK_ANIMATION_START=0,
CLICK_ANIMATION_NORMAL=1,
CLICK_ANIMATION_SOON=2,
CLICK_ANIMATION_BOOST=3,
CLICK_ANIMATION_COMPLETE=4,
}
其中,CLICK_ANIMATION_START=0表示动画开始调度事件,即在点击事件发生后,终端设备开始渲染动画的事件;CLICK_ANIMATION_COMPLETE=4表示动画完成结束调度事件,即动画渲染结束,停止资源调度的事件。动画完成结束调度事件可以通过判断渲染服务中的动画是否请求下一动画帧来标识。例如,当渲染服务中用于指示请求下一动画帧的变量为假(false)时,可以表示动画完成,此时对应的事件即为动画完成结束调度事件。三种不同的资源调度类型事件可以采用CLICK_ANIMATION_NORMAL=1、CLICK_ANIMATION_SOON=2和CLICK_ANIMATION_BOOST=3表示。其中,CLICK_ANIMATION_NORMAL=1表示无丢帧压力情况下的资源调度事件,CLICK_ANIMATION_NORMAL=2表示即将丢帧情况下的资源调度事件,CLICK_ANIMATION_NORMAL=3表示丢帧情况下的资源调度事件。
对应于在RSS中添加的多种资源调度类型事件,可以在RS中添加多个对应的事件类型,即:
PERF_REQUEST_CMD_ID_FRAME_LOSS_DEFAULT;
PERF_REQUEST_CMD_ID_FRAME_LOSS_SOON;
PERF_REQUEST_CMD_ID_FRAME_LOSS_BOOST。
其中,PERF_REQUEST_CMD_ID_FRAME_LOSS_DEFAULT表示无丢帧事件,其在RSS中对应的资源调度事件为CLICK_ANIMATION_NORMAL=1表示的无丢帧压力情况下的调度事件;PERF_REQUEST_CMD_ID_FRAME_LOSS_SOON表示即将丢帧事件,其在RSS中对应的资源调度事件为CLICK_ANIMATION_NORMAL=2表示的即将丢帧情况下的调度事件,PERF_REQUEST_CMD_ID_FRAME_LOSS_BOOST表示丢帧事件,其在RSS中对应的资源调度事件为CLICK_ANIMATION_NORMAL=3表示的丢帧情况下的调度事件。
针对不同的丢帧事件,RSS可以按照对应的资源调度事件进行资源调度。示例性地,在无丢帧压力情况下,RSS可以执行缓和的资源调度操作,使得终端设备在保持当前的功耗下缓慢增加少量资源的供给。在即将丢帧时,RSS可以适当提升图形图像的分组能力,增加关键线程的资源供给。相较于缓和的资源调度,即将丢帧情况下的所调度的资源能够提供给终端设备的处理能力更强。示例性地,在缓和的资源调度时,RSS可以配置CPU的小核频点(lit_cpu_freq)介于0.9-1.2之间;在即将丢帧情况下的资源调度时,RSS可以提高CPU小核的频率,例如配置CPU的小核频点介于1.1-1.4之间。相较于即将丢帧时的资源调度,在已经出现丢帧时的资源调度操作可以进一步地提升图形图像的分组能力,进一步增加关键线程的资源供给。例如,在已经丢帧时,RSS可以进一步提高CPU小核的频率,例如配置CPU的小核频点介于1.2-1.7之间。
当然,上述以提高CPU的小核频点的频率为例介绍的各种资源调度类型下的调度操作仅为本申请实施例的一种示例,在实际的资源调度中,RSS还可以对其他资源进行相应的调度。例如,RSS针对不同的资源调度类型所调度的资源还可以包括中核频点(mid_cpu_freq)、GPU的最小频点(gpu_min_freq)、DDR的最小频点(ddr_min_freq)等,本申请实施例对此不作限定。
如图3所示,是本申请实施例提供的一种动画渲染过程的示意图。实现图3所示的动画渲染过程涉及应用程序的软件界面(APP_UI)、资源调度服务(RSS)和渲染服务(RS)。下面,分别对各部分在整个动画渲染过程中的操作过程进行介绍。
在应用程序的软件界面中:
APP_UI可以响应点击事件,该点击事件可以是用户通过手势在终端设备的屏幕上进行操作触发的。用户的手势操作可以包括用户的手指与屏幕直接接触产生的触控操作,也可以包括用户使用的隔空手势等非接触式操作。或者,点击事件也可以是通过手写笔等触控设备在终端设备的屏幕上进行操作产生的。
当APP_UI感知到上述点击事件,一方面,RS可以开始渲染并播放动画,另一方面,APP_UI可以向RSS上报该点击事件。
在资源调度服务中:
当RSS接收到APP_UI上报的点击事件后,RSS可以开始执行资源调度操作,也就是RSS开始调度资源。同时,RSS可以接收到RS上报的资源调度开始事件。该资源调度开始事件可以是RS在开始渲染动画后上报的,其目的可以用于指示RSS执行默认的资源调度操作,为动画渲染增加资源供给。
在RSS执行默认的资源调度过程中,如果动画未结束,则RS将持续渲染动画并在此过程中向RSS上报丢帧检测结果。丢帧检测结果可以以事件的形式上报至RSS,这些事件可以包括前述各个实施例中的多种丢帧事件中的任意一种。例如,无丢帧压力、即将丢帧和丢帧等。
RSS接收到RS上报的丢帧检测结果后,可以根据具体的丢帧情况选择合适的资源调度类型。示例性地,在无丢帧压力情况下,RSS可以选择与无丢帧压力情况对应的缓和的资源调度操作,即按照前述实施例中CLICK_ANIMATION_NORMAL=1对应的资源调度类型进行各种资源的调度;在即将丢帧的情况下,RSS可以选择与即将丢帧情况对应的资源调度操作,即按照前述实施例中CLICK_ANIMATION_NORMAL=2对应的资源调度类型进行各种资源的调度;在已经丢帧的情况下,RSS可以选择与丢帧情况对应的资源调度操作,即按照前述实施例中CLICK_ANIMATION_NORMAL=3对应的资源调度类型进行各种资源的调度。
在此过程中,RS可以持续地向RSS上报丢帧检测结果。当RSS接收到RS上报的丢帧检测结果表示丢帧状态结束时,RSS可以恢复默认的调度方式,按照默认方式进行资源调度。
当动画播放结束时,也即RS渲染动画结束,RSS可以接收到动画完成结束调度事件的信息,也即前述实施例中CLICK_ANIMATION_COMPLETE=4对应的事件。此时,RSS可以结束资源调度。
在渲染服务中:
RS可以基于APP_UI感知到的点击事件,开始播放动画,也即对多个动画帧进行渲染。在动画开始播放时,RS可以向RSS上报动画开始调度事件,即前述各个实施例中CLICK_ANIMATION_START=0对应的事件。随着动画渲染的不断进行,RS可以基于已渲染的动画帧向RSS上报丢帧检测结果,该丢帧检测结果可以包括前述各个实施例中无丢帧压力情况、即将丢帧情况和丢帧情况。针对不同的丢帧情况,RSS可以选择不同的资源调度方式。在丢帧状态结束时,RS可以向RSS上报丢帧状态结束信息,用于指示RSS恢复默认的资源调度方式。在动画播放结束时,RS可以将动画结束的事件上报至RSS,指示RSS结束资源调度操作。
下面,结合前述各个实施例中介绍的各类事件,分别对动画开始调度事件、动画完成结束调度事件、无丢帧压力情况下的资源调度、即将丢帧情况下的资源调度和丢帧情况下的资源调度进行介绍。
动画开始调度事件:
在本申请实施例中,动画开始调度事件的产生可以基于动画播放开始确定。具体地,在渲染服务中,可以通过识别请求下一动画帧的变量来确定是否有动画开始播放。例如,当用于表示第一帧的变量为真(true)时,可以认为开始播放动画。如果存在持续的请求播放下一动画帧的动作时,也即请求下一动画帧的变量为真时,可以表示该动画有多个动画帧需要持续地进行渲染或绘制。RS可以向RSS上报动画开始调度事件。此时,RSS将会执行默认的资源调度操作,按照默认的方式进行资源调度。
在本申请实施例的一种可能的实现方式中,存在下一动画帧的动画可能是一个连续的或者无限循环的动画。针对连续的或者无限循环的动画,可以在RSS中通过判断动画开始调度事件的前一事件是否为点击事件来确认动画类型。如果动画开始调度事件的前一事件为点击事件,则可以表示当前播放的动画是动画的开始,该动画是对点击事件进行响应而播放的。如果动画开始调度事件的前一事件不是点击事件,则可以表示当前播放的动画是一个连续的或者无限循环的动画。
动画完成结束调度事件:
与动画开始调度事件类似,在渲染服务中也可以通过识别请求下一动画帧的变量来判断动画渲染是否结束。示例性地,如果渲染服务中请求下一动画帧的变量为false,则表示此时动画渲染结束。当动画渲染结束后,RS可以向RSS上报资源调度结束事件。
在本申请实施例的一种可能的实现方式中,针对连续的或者无限循环的动画,由于其并不存在动画结束的场景,无法按照请求下一动画帧的变量是否为false来判断动画是否结束。针对此情况,可以设置一默认值,依据该默认值来确定资源调度是否结束。示例性地,上述默认值可以为500毫秒。在RSS执行资源调度操作后,如果持续500毫秒,RSS仍未接收到资源调度结束的事件,RSS可以结束当前的资源调度操作。
如图4所示,是本申请实施例提供的一种资源调度过程的示意图,图4所示的过程包括资源调度开始和资源调度结束的示例。
在本申请实施例中,可以使用一个全局变量来控制动画开始和动画结束。示例性地,可以使用图4中的请求变量的真假来判断动画开始和动画结束。
如图4所示,可以通过判断请求变量的真假确定是否为动画开始,该请求变量也就是用于指示请求下一动画帧的变量。当该请求变量为真时,表示动画开始;当该变量为假时,表示动画结束。
在动画开始后,可以继续判断用于指示丢帧事件的变量,例如,图4中的变量g_report的真假来确定后续各动画帧的渲染方式。当用于指示丢帧事件的变量为真时,可以表示RS在动画渲染过程中出现了丢帧的情况,RS可以向RSS上报资源调度开始事件,RSS可以根据接收到的资源调度开始事件进行资源调度。例如,提高某一资源的频率。在对资源进行调度后,RS在渲染动画时可能不会再出现丢帧的情况,此时用于指示丢帧事件的变量可以被修改为假。在用于指示丢帧事件的变量为假,或者经过资源调度操作,该用于指示丢帧事件的变量被修改为假后,RS可以基于RSS调度的资源继续进行动画渲染。
在完成某一动画帧的渲染后,可以循环上述操作,继续通过判断请求变量的真假来确定是否需要持续渲染其他动画帧或者结束动画的播放。
无丢帧压力情况下的资源调度:
在本申请实施例中,无丢帧压力情况下的资源调度操作可以是一种系统默认的调度操作。当RSS接收到RS上报的资源调度开始事件时,RSS可以开始执行无丢帧压力情况下的第一调度方式,该第一调度方式可以是前述实施例中缓和的资源调度,也即第一资源调度类型下的调度方式。在第一调度方式下,RSS可以按照对应的资源配置方式进行资源的调度。
示例性地,第一调度方式下的资源配置策略可以如下所示:
<cmd id="1"name="PERF_REQUEST_CMD_ID_FRAME_LOSS_DEFAULT">
0.9<lit_cpu_freq<1.2
12.8<mid_cpu_freq<15.1
28.8<gpu_min_freq
11.04<ddr_min_freq
64.4<l3c_min_freq
top-app.boost=15
foreground.boost=15
graphic.boost=15
boost=15
</cmd>
其中,lit_cpu_freq表示CPU的小核频点,mid_cpu_freq表示CPU的中核频点、gpu_min_freq表示GPU的最小频点、ddr_min_freq表示DDR的最小频点,l3c_min_freq表示L3c的最小频点。上述表达式表示在第一提频情况下,CPU的小核频点可以配置于0.9-1.2之间,CPU的中核频点可以配置于12.8-15.1之间,GPU的最小频点可以大于28.8,DDR的最小频点可以大于11.04,L3c的最小频点可以大于64.4。
在本申请实施例的一种可能的实现方式中,对于即将丢帧和丢帧的情况,如果经RSS调度后,即将丢帧和丢帧的情况得到了改善,RS可以向RSS上报无丢帧压力情况调度事件。此时,RSS可以按照无丢帧压力情况下的资源调度方式进行调度,直至接收到资源调度事件结束的信息,结束调度操作。
即将丢帧情况下的资源调度:
在本申请实施例中,即将丢帧的情况可以根据最近渲染完成的一帧动画帧的帧渲染时间与丢帧时间阈值的大小关系来确定。其中,丢帧时间阈值可以包括下限阈值和上限阈值。下限阈值小于上线阈值。即将丢帧的情况可以是指RS渲染一帧动画帧所需的时间refreshTime大于终端设备当前系统支持的屏幕刷新率frameRate所对应的时间,但小于丢帧时间阈值上限thresholdBoostValue,即上限阈值时的情况。
在本申请实施例的一种示例中,终端设备当前系统支持的屏幕刷新率frameRate与RS渲染一帧动画帧所需的时间refreshTime之间的关系式可以表示为:
refreshTime=1/frameRate……(1)
上述refreshTime也可以表示丢帧时间阈值下限,即下限阈值。
丢帧时间阈值上限thresholdBoostValue与refreshTime之间的关系式可以表示为:
thresholdBoostValue=refreshTime+refreshTime/2……(2)
结合上述表达式(1)和(2),以终端设备的屏幕刷新率为60帧为例,该屏幕刷新率表示终端设备屏幕上播放的动画画面每秒要均匀更新60次。也就是说,每一动画帧的更新或渲染需要16.67毫秒的时间。如果RS渲染每一动画帧的耗时超过上述16.67毫秒,则表示动画渲染过程中可能出现丢帧的情况。
在本申请实施例中,可以以表达式(1)计算出的数值为基准向上取整,作为即将丢帧的时间阈值,也即丢帧时间阈值下限。例如,在上述示例中,根据表达式(1)计算得出的数值为16.67毫秒,对该数值向上取整后,可以以17毫秒作为丢帧时间阈值下限。相应地,对于表达式(2)计算出的数值,可以以该数值为基准向下取整,作为丢帧的时间阈值,也即丢帧时间阈值上限。例如,在上述示例中,根据表达式(2)计算得出的数值为25.005毫秒,对该数值向下取整后,可以以25毫秒作为丢帧时间阈值上限。
在RS渲染每一动画帧的耗时超过17毫秒,但小于25毫秒时,可以认为RS在渲染动画时即将出现丢帧的情况。
在本申请实施例中,对于即将丢帧的情况,例如RS渲染每一动画帧的耗时介于17-25毫秒之间时,RSS可以按照第二调度方式进行资源的调度。第二调度方式也即第二资源调度类型下的调度方式。相较于第一调度方式,RSS在采用第二调度方式时调度的资源所提供给终端设备的处理能力更强。
在本申请实施例的一种可能的实现方式中,终端设备在不同的资源调度类型下进行资源的调度可以包括对资源的数量的调度和/或对资源的频率的调度。
其中,对资源的数量的调度可以包括增加资源的数量或减少资源的数量。示例性地,在对帧渲染时间进行检测后,如果确定动画帧的渲染过程中出现了丢帧的情况,终端设备可以增加资源的数量。例如,增加CPU的大核,以及增加GPU的供给等。在持续地对帧渲染时间进行检测后,如果确定渲染过程中出现的丢帧情况已经得到明显改善,终端设备可以减少资源的数量。
对资源的频率的调度可以包括在动画帧的渲染过程中提高或降低一个或多个资源的频率。示例性地,在动画帧的渲染过程中如果调度的资源包括CPU的小核,通过对帧渲染时间进行检测,如果确定渲染过程中出现了丢帧的情况,终端设备可以提高CPU小核的频率。在持续地对帧渲染时间进行检测后,如果确定渲染过程中出现的丢帧情况已经得到明显改善,终端设备可以降低CPU小核的频率。当渲染过程中原本调度的资源包括多种时,至少一种资源的频率的增加,都将提高终端设备的整体处理能力。例如渲染过程中原本调度的资源包括CPU的小核、GPU和DDR,如果GPU和DDR的频率保持不变,仅提高了CPU小核的频率,则终端设备整体的处理能力也将获得增强。
在一种示例中,终端设备在第二资源调度类型下调度的资源的数量可以多于在第一资源调度类型下调度的资源的数量。例如,在第一资源调度类型下,终端设备调度的资源数量包括CPU的小核频点、GPU的最小频点、DDR的最小频点、L3c的最小频点等,在第二资源调度类型下,终端设备调度的资源数量除上述CPU的小核频点、GPU的最小频点、DDR的最小频点和L3c的最小频点外,还可以包括CPU的中核频点。即,相较于第一资源调度类型下调度的资源的数量,第二资源调度类型下调度的资源的数量增加了CPU的中核频点。在一种可能的实现方式中,当第二资源调度类型下调度的资源的数量多于第一资源调度类型下调度的资源的数量时,第一资源调度类型和第二资源调度类型下调度的相同种类的资源的频率可以是不等的。通常,对于同一种类的资源,第一资源调度类型下调度的该种类的资源的频率小于第二资源调度类型下调度的该种类的资源的频率。例如,第一资源调度类型下调度的CPU的小核频点小于第二资源调度类型下调度的CPU的小核频点;第一资源调度类型下调度的GPU的最小频点小于第二资源调度类型下调度的GPU的最小频点。在另一种可能的实现方式中,当第二资源调度类型下调度的资源的数量多于第一资源调度类型下调度的资源的数量时,第一资源调度类型和第二资源调度类型下调度的相同种类的资源的频率也可以是相等的。例如,第一资源调度类型下调度的CPU的小核频点和第二资源调度类型下调度的CPU的小核频点相等;第一资源调度类型下调度的GPU的最小频点和第二资源调度类型下调度的GPU的最小频点相等。
在另一种示例中,终端设备在第二资源调度类型下调度的资源中,至少存在一种资源的频率高于在第一资源调度类型下调度的该资源的频率。例如,在第一资源调度类型和第二资源调度类型下,终端设备调度的资源均包括CPU的小核频点、GPU的最小频点、DDR的最小频点、L3c的最小频点等,但对于各种类的资源,终端设备在第一资源调度类型下调度的低于在第二资源调度类型下调度的CPU小核的频率。
在又一种示例中,终端设备在第二资源调度类型下调度的资源的数量少于在第一资源调度类型下调度的资源的数量,但在第二资源调度类型下调度的至少一种资源的频率高于在第一资源调度类型下调度的该资源的频率。例如,在第一资源调度类型下,终端设备调度的资源种类包括CPU的小核频点、GPU的最小频点、DDR的最小频点、L3c的最小频点等,在第二资源调度类型下,终端设备调度的资源种类包括CPU的大核频点和GPU的最小频点。即,在第二资源调度类型下,终端设备调度的资源种类相较于第一资源调度类型下调度的资源种类更少,但由于第二资源调度类型下调度了CPU的大核频点,可以使得终端设备在第二资源调度类型下具有更强的处理能力。示例性地,第二调度方式下的资源配置策略可以如下所示:
<cmd id="2"name="PERF_REQUEST_CMD_ID_FRAME_LOSS_SOON">
1.1<lit_cpu_freq<1.4
14.8<mid_cpu_freq<17.6
32.7<gpu_min_freq
11.04<ddr_min_freq
top-app.boost=15
foreground.boost=15
graphic.boost=15
boost=15
</cmd>
丢帧情况下的资源调度:
如前所述,丢帧情况可以是指RS渲染一帧动画帧所需的时间超过了丢帧时间阈值的上限。例如,RS渲染一帧动画帧所需的时间超过了前述示例中的25毫秒。此时,RS可以向RSS上报丢帧事件,RSS可以根据接收到的丢帧事件,采用丢帧情况下对应的第三调度方式进行资源的调度。第三调度方式也即第三资源调度类型下的调度方式。相较于第一调度方式和第二调度方式,RSS采用第三调度方式调度的资源所提供给终端设备的处理能力更强。
在一种示例中,终端设备在第三资源调度类型下调度的资源的数量多于在第二资源调度类型下调度的资源的数量。在另一种示例中,终端设备在第三资源调度类型下调度的资源中,至少一种资源的频率高于在第二资源调度类型下调度的该资源的频率。在又一种示例中,终端设备在第三资源调度类型下调度的资源的数量少于在第二资源调度类型下调度的资源的数量,但在第三资源调度类型下调度的至少一种资源的频率高于在第二资源调度类型下调度的该资源的频率。
示例性地,第三调度方式下的资源配置策略可以如下所示:
<cmd id="3"name="PERF_REQUEST_CMD_ID_FRAME_LOSS_BOOST">
1.2<lit_cpu_freq<1.7
16.5<mid_cpu_freq<20
28.8<gpu_min_freq
41.8<ddr_min_freq
top-app.boost=15
foreground.boost=15
graphic.boost=15
boost=15
</cmd>
结合上述介绍,如图5所示,示出了本申请实施例提供的一种资源调度方式的示意图。图5所示的资源调度方式包括前述示例中的第一调度方式、第二调度方式和第三调度方式。
参见图5,在动画开始时,系统可以记录RS渲染一帧动画帧的开始时间,当该动画帧渲染完成时,系统也可以记录下渲染结束时间。结束时间与开始时间之间的差值,即为RS渲染一帧动画帧所需的时间,该时间可以记为帧渲染时间duration。另一方面,根据终端设备的屏幕刷新率frameRate,可以计算出在无丢帧情况下,在终端设备的屏幕上渲染一帧动画帧所需的时间以及丢帧时间阈值的上限,即refreshTime和thresholdBoostValue。
通过比较帧渲染时间duration与refreshTime和thresholdBoostValue之间的大小关系,可以确定当前的丢帧情况。
如图5所示,如果帧渲染时间duration小于refreshTime,则表示当前的动画渲染过程并未出现丢帧的情况,此时即前述各个实施例中的无丢帧压力的情况。RS可以向RSS上报无丢帧压力调度事件。RSS可以按照第一调度方式进行资源的调度。
如果帧渲染时间duration大于或等于refreshTime,此时可以继续判断帧渲染时间duration与thresholdBoostValue之间的大小关系。
参见图5,如果帧渲染时间duration大于或等于refreshTime但小于thresholdBoostValue,表示此时为即将丢帧的情况。RS可以向RSS上报即将丢帧调度事件,RSS可以按照第二调度方式进行资源的调度。
如果帧渲染时间duration大于refreshTime且大于或等于thresholdBoostValue,表示此时已经出现了丢帧的情况。RS可以向RSS上报丢帧调度事件,RSS可以按照第三调度方式进行资源的调度。
在本申请实施例中,随着RSS对按照各种调度方式进行资源的调度,RS渲染一帧动画帧所需的时间也在波动变化。针对每一动画帧的渲染均会获得一个丢帧检测结果,如果每一帧的丢帧检测结果均上报至RSS,将会加剧终端设备的功耗。
针对上述多种调度事件由于渲染每帧动画帧的耗时波动变化而存在频繁切换的问题,本申请实施例可以对相邻两次的丢帧检测结果是否相同进行判断,只有当检测到相邻两次的丢帧检测结果发生了变化,再由RS向ESS上报变化后的资源调度事件。
如图6所示,是本申请实施例提供的一种资源调度事件上报过程的示意图。按照图6所示的上报过程,在完成丢帧检测后,RS可以根据检测结果判断当前渲染的动画帧是否出现了丢帧情况。如果当前渲染的动画帧未出现丢帧,则RS可以无需对当前的动画帧进行处理。如果当前渲染的动画帧出现了丢帧的情况,RS可以判断因为本次渲染过程计算得到的资源调度事件的类型与前一次已经上报的资源调度事件的类型是否相同。如果本次渲染过程计算得到的资源调度事件的类型与前一次已经上报的资源调度事件的类型相同,即终端设备针对本次渲染过程得到的丢帧检测结果与前一次的丢帧检测结果相同,则RS可以不向RSS上报资源调度事件,RSS可以按照当前正在执行的调度方式进行资源的调度。如果本次渲染过程计算得到的资源调度事件的类型与前一次已经上报的资源调度事件的类型不同,即终端设备针对本次渲染过程得到的丢帧检测结果与前一次的丢帧检测结果不同,则RS可以向RSS上报本次的丢帧检测结果。
示例性地,如果RS根据一帧动画帧的渲染时间,向RSS上报了丢帧调度事件,对于该帧动画帧的下一动画帧,如果RS根据下一动画帧的渲染时间进行计算,得到的资源调度事件类型仍然为丢帧调度事件,则由于本次检测结果与已经上报的上一次事件的检测结果相同,RS可以不向RSS上报本次丢帧调度事件。RSS可以继续按照丢帧调度事件进行资源的调度。如果RS根据下一动画帧的渲染时间进行计算,得到的资源调度事件类型为即将丢帧调度事件,由于本次检测结果与已经上报的上一次检测结果不同,如果继续按照已经上报的丢帧调度事件进行资源的调度就不合适了。此时,RS可以向RSS上报本次检测得到的资源调度事件,即RS向RSS上报即将丢帧调度事件。RSS可以按照即将丢帧调度事件对应的调度方式进行资源的调度。
结合前述各个实施例,如图7所示,是本申请实施例提供的一种动画渲染方法的示意图,该方法可以包括如下步骤:
S701、响应于在终端设备的屏幕上的点击事件,终端设备开始渲染动画。
本申请实施例提供的动画渲染方法可以基于在终端设备的屏幕上的点击事件触发,即终端设备在检测到屏幕上的点击事件后,可以应用本方法进行动画渲染。
在本申请实施例的一种可能的实现方式中,响应于点击事件,终端设备可以执行默认的资源调度操作。其中,默认的资源调度操作可以是前述各个实施例中第一资源调度类型对应的调度操作。
具体地,响应于点击事件,终端设备的渲染服务可以向资源调度服务上报资源调度开始事件;针对资源调度开始事件,终端设备的资源调度服务可以开始执行默认的资源调度操作。
S702、终端设备确定对动画中已渲染的动画帧的帧渲染时间进行检测。
本申请实施例中的帧渲染时间可以是指前述各个实施例中RS渲染一帧动画帧所需的时间,即duration。终端设备对已渲染的动画帧的帧渲染时间进行检测可以是对最近渲染完成的一帧动画帧的帧渲染时间进行检测。根据检测得到的帧渲染时间和丢帧时间阈值,终端设备可以确定丢帧检测结果,丢帧检测结果也就是终端设备在渲染动画帧时的丢帧情况。
在一种示例中,已渲染的动画帧的帧渲染时间可以是终端设备最近渲染完成的一帧动画帧的渲染时间。在另一种示例中,已渲染的动画帧的帧渲染时间也可以是最近渲染完成的多帧动画帧的渲染时间的平均值。例如,可以计算最近渲染完成的5帧动画帧的渲染时间的平均值,将该平均值作为已渲染的动画帧的帧渲染时间。
S703、终端设备根据帧渲染时间确定未渲染的动画帧的资源调度类型。
在本申请实施例的一种可能的实现方式中,资源调度类型至少可以包括第一资源调度类型和第二资源调度类型,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
终端设备在第二资源调度类型下调度的资源的数量可以多于在第一资源调度类型下调度的资源的数量;和/或,终端设备在第二资源调度类型下调度的资源的频率高于在第一资源调度类型下调度的资源的频率;和/或,终端设备在第二资源调度类型下调度的资源的数量少于在第一资源调度类型下调度的资源的数量,但在第二资源调度类型下调度的至少一种资源的频率高于在第一资源调度类型下调度的该资源的频率。
在本申请实施例中,终端设备根据帧渲染时间确定未渲染的动画帧的资源调度类型,可以是指通过将帧渲染时间与丢帧时间阈值进行比较,来确定渲染其他动画帧所需的资源调度类型。
具体地,当帧渲染时间小于丢帧时间阈值时,终端设备可以确定此时的资源调度类型为第一资源调度类型;当帧渲染时间大于或等于丢帧时间阈值时,终端设备可以确定此时的资源调度类型为第二资源调度类型。第二资源调度类型下的终端设备的处理能力强于在第一资源调度类型下的终端设备的处理能力。
在本申请实施例的一种可能的实现方式中,终端设备可以根据帧渲染时间和丢帧时间阈值,确定已渲染的动画帧的丢帧情况,根据丢帧情况,确定未渲染的动画帧的资源调度类型。
其中,当帧渲染时间小于丢帧时间阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第一丢帧情况;当帧渲染时间大于或等于丢帧时间阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第二丢帧情况。在一种示例中,第一丢帧情况可以是未丢帧,第二丢帧情况可以是即将丢帧或已丢帧。具体地,第一丢帧情况可以是前述各个实施例中PERF_REQUEST_CMD_ID_FRAME_LOSS_DEFAULT对应的丢帧情况。第二丢帧情况可以是前述各个实施例中PERF_REQUEST_CMD_ID_FRAME_LOSS_SOON或PERF_REQUEST_CMD_ID_FRAME_LOSS_BOOST对应的丢帧情况。
当丢帧情况为第一丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当丢帧情况为第二丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型。其中,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
在本申请实施例的另一种可能的实现方式中,资源调度类型还可以包括第三资源调度类型。其中,终端设备在第三资源调度类型下调度的资源所提供的处理能力强于在第二资源调度类型下调度的资源所提供的处理能力。具体地,终端设备在第三资源调度类型下调度的资源的数量可以多于在第二资源调度类型下调度的资源的数量;和/或,终端设备在第三资源调度类型下调度的资源的频率高于在第二资源调度类型下调度的资源的频率;和/或,终端设备在第三资源调度类型下调度的资源的数量少于在第二资源调度类型下调度的资源的数量,但在第三资源调度类型下调度的至少一种资源的频率高于在第二资源调度类型下调度的该资源的频率。
在本申请实施例中,丢帧时间阈值可以包括下限阈值和上限阈值。其中,下限阈值可以是前述各个实施例中的refreshTime值,上限阈值可以是前述各个实施例中的thresholdBoostValue值。
在一种示例中,下限阈值可以是终端设备的屏幕刷新率的倒数,上限阈值可以是下限阈值的二分之三倍。
在另一种示例中,下限阈值可以是终端设备的屏幕刷新率的倒数向上取整的值,上限阈值可以是下限阈值的二分之三倍向下取整的值。
当帧渲染时间小于下限阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第一丢帧情况;当帧渲染时间大于或等于下限阈值且小于上限阈值时,终端设备可以确定已渲染的动画帧的丢帧情况为第二丢帧情况;当帧渲染时间大于上限阈值时时,终端设备可以确定已渲染的动画帧的丢帧情况为第三丢帧情况。
在一种示例中,第一丢帧情况可以是未丢帧,第二丢帧情况和第三丢帧情况可以是已丢帧。其中,在第三丢帧情况下的丢帧量大于第二丢帧情况下的丢帧量。
在另一种示例中,第一丢帧情况可以是未丢帧,第二丢帧情况可以即将丢帧,第三丢帧情况可以是已丢帧。即第一丢帧情况可以是前述各个实施例中PERF_REQUEST_CMD_ID_FRAME_LOSS_DEFAULT对应的丢帧情况,第二丢帧情况可以是前述各个实施例中PERF_REQUEST_CMD_ID_FRAME_LOSS_SOON对应的丢帧情况,第三丢帧情况可以是前述各个实施例中PERF_REQUEST_CMD_ID_FRAME_LOSS_BOOST对应的丢帧情况。
当丢帧情况为第一丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第一资源调度类型;当丢帧情况为第二丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第二资源调度类型;当丢帧情况为第三丢帧情况时,终端设备可以确定未渲染的动画帧的资源调度类型为第三资源调度类型。其中,终端设备在第三资源调度类型下调度的资源所提供的处理能力强于在第二资源调度类型下调度的资源所提供的处理能力,终端设备在第二资源调度类型下调度的资源所提供的处理能力强于在第一资源调度类型下调度的资源所提供的处理能力。
上述帧渲染时间可以由终端设备的渲染服务确定。终端设备的渲染服务在确定最近渲染完成的一帧动画帧的帧渲染时间后,可以根据帧渲染时间和丢帧时间阈值确定丢帧检测结果,也即渲染动画帧时的丢帧情况,渲染服务可以向终端设备的资源调度服务上报该丢帧情况。资源调度服务可以根据具体的丢帧情况确定未渲染的动画帧的资源调度类型。
在本申请实施例的一种可能的实现方式中,为了降低终端设备因为渲染服务频繁上报丢帧情况带来的功耗的增加,渲染服务可以通过确定的当前的丢帧情况与前一次已上报的丢帧情况是否相同,只有在当前的丢帧情况与前一次已上报的丢帧情况不同时,渲染服务才向资源调度服务上报当前的丢帧情况。
S704、终端设备按照资源调度类型调度资源,该资源用于终端设备对未渲染的动画帧进行渲染;其中,不同的资源调度类型下调度的资源所提供的处理能力不同。
在确定资源调度类型后,终端设备可以按照已确定的资源调度类型调度资源。终端设备可以基于调度的资源对未渲染的动画帧进行渲染。
另一方面,终端设备可以继续对已渲染的动画帧的帧渲染时间进行检测,该检测可以是对最近渲染完成的一帧动画帧的帧渲染时间的检测。终端设备可以按照最近渲染完成的一帧动画帧的帧渲染时间对应的资源调度类型执行资源调度操作。在一种示例中,资源调度操作可以包括提频操作,提频操作可以是指提高任意一种资源的频率的操作。例如,提高CPU或者GPU的频率。
在本申请实施例中,当动画渲染结束时,终端设备可以停止资源调度操作,也即停止提频操作。在一种示例中,终端设备可以确定请求渲染下一动画帧的变量是否为真;当请求渲染下一动画帧的变量不为真时,终端设备可以确定动画渲染结束,此时终端设备可以停止提频操作。
在本申请实施例的一种可能的实现方式中,当请求渲染下一动画帧的变量为真,这表示动画并未播放完毕,但如果渲染该动画的持续时间超过了预设时间阈值,终端设备也可以停止提频操作。
本申请实施例可以根据上述方法示例对终端设备进行功能模块的划分,例如,可以对应每一个功能划分每一个功能模块,也可以将一个或多个的功能集成在一个功能模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以对应每一个功能划分每一个功能模块为例进行说明。
对应于上述各个实施例,本申请实施例提供了一种动画渲染装置,该装置可以是终端设备,也可以是终端设备中的芯片。该装置可以包括用于执行前述各个方法实施例中的方法步骤的模块。示例性地,参照图8,示出了本申请实施例提供的一种动画渲染装置的结构框图,该装置具体可以包括如下模块:动画渲染模块801、帧渲染时间检测模块802、资源调度类型确定模块803和资源调度模块804,其中:
动画渲染模块801,用于响应于在终端设备的屏幕上的点击事件,终端设备开始渲染动画;
帧渲染时间检测模块802,用于终端设备对动画中已渲染的动画帧的帧渲染时间进行检测;
资源调度类型确定模块803,用于终端设备根据帧渲染时间确定未渲染的动画帧的资源调度类型;
资源调度模块804,用于终端设备按照资源调度类型调度资源,调度的资源用于终端设备对未渲染的动画帧进行渲染;其中,不同的资源调度类型下调度的资源所提供的处理能力不同。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。
Claims (18)
1.一种动画渲染方法,其特征在于,包括:
响应于在终端设备的屏幕上的点击事件,所述终端设备开始渲染动画;
所述终端设备对所述动画中已渲染的动画帧的帧渲染时间进行检测;
所述终端设备根据所述帧渲染时间确定未渲染的动画帧的资源调度类型;
所述终端设备按照所述资源调度类型调度资源,所述资源用于所述终端设备对未渲染的动画帧进行渲染;其中,不同的资源调度类型下调度的资源所提供的处理能力不同。
2.根据权利要求1所述的方法,其特征在于,不同的资源调度类型至少包括第一资源调度类型和第二资源调度类型,所述终端设备在所述第二资源调度类型下调度的资源所提供的处理能力强于在所述第一资源调度类型下调度的资源所提供的处理能力。
3.根据权利要求2所述的方法,其特征在于,所述终端设备在所述第二资源调度类型下调度的资源的数量多于在所述第一资源调度类型下调度的资源的数量;和/或,所述终端设备在所述第二资源调度类型下调度的资源的频率高于在所述第一资源调度类型下调度的资源的频率。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述终端设备对所述动画中已渲染的动画帧的帧渲染时间进行检测,包括:
所述终端设备确定最近渲染完成的一帧动画帧的帧渲染时间。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述终端设备根据所述帧渲染时间确定未渲染的动画帧的资源调度类型,包括:
所述终端设备根据所述帧渲染时间和丢帧时间阈值确定未渲染的动画帧的资源调度类型。
6.根据权利要求5所述的方法,其特征在于,所述终端设备根据所述帧渲染时间和丢帧时间阈值确定未渲染的动画帧的资源调度类型,包括:
所述终端设备根据所述帧渲染时间和丢帧时间阈值,确定已渲染的动画帧的丢帧情况;
所述终端设备根据所述丢帧情况,确定未渲染的动画帧的资源调度类型。
7.根据权利要求6所述的方法,其特征在于,所述终端设备根据所述帧渲染时间和丢帧时间阈值,确定已渲染的动画帧的丢帧情况,包括:
当所述帧渲染时间小于所述丢帧时间阈值,所述终端设备确定已渲染的动画帧的丢帧情况为第一丢帧情况;
当所述帧渲染时间大于或等于所述丢帧时间阈值,所述终端设备确定已渲染的动画帧的丢帧情况为第二丢帧情况;其中,所述第一丢帧情况为未丢帧,所述第二丢帧情况为已丢帧。
8.根据权利要求7所述的方法,其特征在于,所述终端设备根据所述丢帧情况,确定未渲染的动画帧的资源调度类型,包括:
当所述丢帧情况为所述第一丢帧情况,所述终端设备确定未渲染的动画帧的资源调度类型为第一资源调度类型;
当所述丢帧情况为所述第二丢帧情况,所述终端设备确定未渲染的动画帧的资源调度类型为第二资源调度类型;所述终端设备在所述第二资源调度类型下调度的资源所提供的处理能力强于在所述第一资源调度类型下调度的资源所提供的处理能力。
9.根据权利要求6所述的方法,其特征在于,所述丢帧时间阈值包括下限阈值和上限阈值,所述终端设备根据所述帧渲染时间和丢帧时间阈值,确定已渲染的动画帧的丢帧情况,包括:
当所述帧渲染时间小于所述下限阈值,所述终端设备确定已渲染的动画帧的丢帧情况为第一丢帧情况;
当所述帧渲染时间大于或等于所述下限阈值且小于所述上限阈值,所述终端设备确定已渲染的动画帧的丢帧情况为第二丢帧情况;
当所述帧渲染时间大于或等于所述上限阈值,所述终端设备确定已渲染的动画帧的丢帧情况为第三丢帧情况;其中,所述第一丢帧情况为未丢帧,所述第二丢帧情况和所述第三丢帧情况为已丢帧,所述第三丢帧情况下的丢帧量大于所述第二丢帧情况下的丢帧量。
10.根据权利要求9所述的方法,其特征在于,所述终端设备根据所述丢帧情况,确定未渲染的动画帧的资源调度类型,包括:
当所述丢帧情况为所述第一丢帧情况,所述终端设备确定未渲染的动画帧的资源调度类型为第一资源调度类型;
当所述丢帧情况为所述第二丢帧情况,所述终端设备确定未渲染的动画帧的资源调度类型为第二资源调度类型;
当所述丢帧情况为所述第三丢帧情况,所述终端设备确定未渲染的动画帧的资源调度类型为第三资源调度类型;其中,所述终端设备在所述第三资源调度类型下调度的资源所提供的处理能力强于在所述第二资源调度类型下调度的资源所提供的处理能力,所述终端设备在所述第二资源调度类型下调度的资源所提供的处理能力强于在所述第一资源调度类型下调度的资源所提供的处理能力。
11.根据权利要求10所述的方法,其特征在于,所述终端设备在所述第三资源调度类型下调度的资源的数量多于在所述第二资源调度类型下调度的资源的数量;和/或,所述终端设备在所述第三资源调度类型下调度的资源的频率高于在所述第二资源调度类型下调度的资源的频率。
12.根据权利要求6至11任一项所述的方法,其特征在于,所述终端设备根据所述丢帧情况,确定未渲染的动画帧的资源调度类型,包括:
所述终端设备的渲染服务向资源调度服务上报所述丢帧情况;
所述终端设备的资源调度服务根据所述丢帧情况确定未渲染的动画帧的资源调度类型。
13.根据权利要求12所述的方法,其特征在于,所述终端设备的渲染服务向资源调度服务上报所述丢帧情况,包括:
所述终端设备的渲染服务确定当前的丢帧情况与前一次已上报的丢帧情况是否相同;
若当前的丢帧情况与前一次已上报的丢帧情况不同,所述终端设备的渲染服务向所述资源调度服务上报当前的丢帧情况。
14.根据权利要求2所述的方法,其特征在于,在所述终端设备开始渲染动画之后,所述方法还包括:
响应于所述点击事件,所述终端设备执行默认的资源调度操作,所述默认的资源调度操作是第一资源调度类型对应的操作。
15.根据权利要求14所述的方法,其特征在于,响应于所述点击事件,所述终端设备执行默认的资源调度操作,包括:
响应于所述点击事件,所述终端设备的渲染服务向资源调度服务上报资源调度开始事件;
针对所述资源调度开始事件,所述终端设备的资源调度服务开始执行所述默认的资源调度操作。
16.根据权利要求1至15任一项所述的方法,其特征在于,在所述终端设备按照所述资源调度类型调度资源之后,所述方法还包括:
当所述动画渲染结束时,所述终端设备停止资源调度操作。
17.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至16任一项所述的动画渲染方法。
18.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,其特征在于,当所述计算机指令在终端设备上运行时,使得所述终端设备执行如权利要求1至16任一项所述的动画渲染方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310488791.6A CN118860621A (zh) | 2023-04-28 | 2023-04-28 | 动画渲染方法、终端设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310488791.6A CN118860621A (zh) | 2023-04-28 | 2023-04-28 | 动画渲染方法、终端设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118860621A true CN118860621A (zh) | 2024-10-29 |
Family
ID=93170650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310488791.6A Pending CN118860621A (zh) | 2023-04-28 | 2023-04-28 | 动画渲染方法、终端设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118860621A (zh) |
-
2023
- 2023-04-28 CN CN202310488791.6A patent/CN118860621A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11573829B2 (en) | Task processing method and apparatus, terminal, and computer readable storage medium | |
CN113726950B (zh) | 一种图像处理方法和电子设备 | |
WO2020191685A1 (zh) | 一种应用于终端的频率调整方法、装置及电子设备 | |
CN109559270B (zh) | 一种图像处理方法及电子设备 | |
WO2021169337A1 (zh) | 屏下指纹显示方法及电子设备 | |
CN113254120B (zh) | 数据处理方法和相关装置 | |
WO2021258814A1 (zh) | 视频合成方法、装置、电子设备及存储介质 | |
WO2021052070A1 (zh) | 一种帧率识别方法及电子设备 | |
CN111522425A (zh) | 一种电子设备的功耗控制方法及电子设备 | |
CN112527476A (zh) | 资源调度方法及电子设备 | |
CN115967851A (zh) | 快速拍照方法、电子设备及计算机可读存储介质 | |
CN117873357A (zh) | 应用窗口的管理方法、终端设备及计算机可读存储介质 | |
CN111104209A (zh) | 一种处理任务的方法及相关设备 | |
CN116048831B (zh) | 一种目标信号处理方法和电子设备 | |
CN116414336A (zh) | 帧率切换方法及装置 | |
CN115269167A (zh) | 资源调度方法和电子设备 | |
CN118860621A (zh) | 动画渲染方法、终端设备和计算机可读存储介质 | |
CN114816028A (zh) | 屏幕刷新方法、电子设备和计算机可读存储介质 | |
CN116089057B (zh) | 资源调度方法、设备、存储介质和程序产品 | |
CN117390604B (zh) | 一种本地鉴权方法和电子设备 | |
CN117234351B (zh) | 触控处理方法、终端设备以及存储介质 | |
CN116723384B (zh) | 进程的控制方法、电子设备及可读存储介质 | |
WO2024109573A1 (zh) | 悬浮窗显示的方法和电子设备 | |
EP4506785A1 (en) | Vsync signal control method, electronic device, storage medium and chip | |
WO2024067037A1 (zh) | 一种服务调用方法、系统和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |