Nothing Special   »   [go: up one dir, main page]

CN118429494B - 一种基于虚拟现实的动画角色生成系统及方法 - Google Patents

一种基于虚拟现实的动画角色生成系统及方法 Download PDF

Info

Publication number
CN118429494B
CN118429494B CN202410890782.4A CN202410890782A CN118429494B CN 118429494 B CN118429494 B CN 118429494B CN 202410890782 A CN202410890782 A CN 202410890782A CN 118429494 B CN118429494 B CN 118429494B
Authority
CN
China
Prior art keywords
data
training
animation
model
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410890782.4A
Other languages
English (en)
Other versions
CN118429494A (zh
Inventor
谭贵彬
董睿
杨啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mitan Animation Co ltd
Original Assignee
Shenzhen Mitan Animation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mitan Animation Co ltd filed Critical Shenzhen Mitan Animation Co ltd
Priority to CN202410890782.4A priority Critical patent/CN118429494B/zh
Publication of CN118429494A publication Critical patent/CN118429494A/zh
Application granted granted Critical
Publication of CN118429494B publication Critical patent/CN118429494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于虚拟现实的动画角色生成系统及方法，方法包括：获取第一区域的三维数据、历史环境数据和历史活动数据，生成数字孪生模型；获取第一区域内的虚拟训练场景数据并提取场景参数；获取当前三维数据、当前环境数据和当前活动数据，结合数字孪生模型得到第一区域的当前状态数据和预测状态数据；根据场景参数、当前状态数据和预测状态数据生成第一区域内的状态变化数据；使用动画特征确定模型匹配场景参数生成动画特征信息；修改第一动画特征信息得到与训练过程中区域状态变化匹配的第二动画特征信息，并得到对应的动画数据以生成多个目标角色的虚拟现实动画。通过本发明方案，可以智能、高效、准确地生成用于虚拟训练场景中的动画。

Description

一种基于虚拟现实的动画角色生成系统及方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种基于虚拟现实的动画角色生成系统及方法。
背景技术
在动画技术领域，为了通过渲染获得不同动画形象，需要获取这些动画形象对应的动画数据。特别是在利用动画技术和虚拟现实技术进行各种训练辅助时，需要更精准与形象的动画来进行呈现。
如何能够以更高效的方式自动生成用于训练辅助且准确的动画，是亟待解决的一个重要问题。
发明内容
本发明正是基于上述问题，提出了一种基于虚拟现实的动画角色生成系统及方法，通过本发明方案，可以智能、高效、准确地生成用于虚拟训练场景中的动画。
有鉴于此，本发明的一方面提出了一种基于虚拟现实的动画角色生成系统，包括：云服务器、虚拟现实服务器和虚拟现实终端；其中，
所述云服务器用于获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；
所述虚拟现实服务器用于：
从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；
从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
所述云服务器还用于：
获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器还用于：
将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
本发明的另一方面提供一种基于虚拟现实的动画角色生成方法，应用于一种基于虚拟现实的动画角色生成系统，所述基于虚拟现实的动画角色生成系统包括云服务器、虚拟现实服务器和虚拟现实终端；所述基于虚拟现实的动画角色生成方法包括：
所述云服务器获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；
所述虚拟现实服务器从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；
所述虚拟现实服务器从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
所述云服务器获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
可选地，所述动画特征确定模型的训练过程包括：
获取与所述虚拟训练场景对应的真实训练视频数据和所述虚拟训练场景下的历史动画视频数据作为视频样本；
从各个已有的视频样本中提取多个第一图像帧；
对每个所述第一图像帧提取其第一视频特征数据，并将所述第一视频特征数据添加至所述第一图像帧作为其附属信息；
对每个所述第一图像帧标注其第一类型信息；
将多个所述第一图像帧划分为不同组，每个组包含相关联的多个第二图像帧，每个组作为一个训练样本；
对每个所述训练样本提取其视频特征向量和标注信息，形成带标注的样本特征数据；
根据所有样本特征数据构建训练样本集；
对所述训练样本集进行训练，得到动画特征确定模型。
可选地，所述从各个已有的视频样本中提取多个第一图像帧的步骤，包括：
将多个所述视频样本导入深度学习模型进行预处理，提取所述视频样本的视频数据基本属性作为标签；
使用自然语言处理对所述视频样本进行语义分割，将其分解为多个描述一个完整动作行为的语义片段；
对每个所述语义片段采用基于卷积神经网络的图像帧提取算法，提取代表该片段信息量的图像帧集；
将同一所述语义片段内的图像帧集归为一个视频区间，区间标签采用语义分割结果；
对所有所述视频样本进行如上处理，提取出多个第一图像帧及其所属视频区间和区间标签；
采用块链技术记录处理过程和图像帧资产，形成去中心化知识图谱。
可选地，所述根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据的步骤，包括：
使用深度学习技术，将所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一数字孪生模型中包含的由所述第一区域的历史数据建立的当前状态模拟模型的第一模拟结果进行对比；
通过对比析并提取出所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一模拟结果的差异点作为所述第一区域当前时间点的第一当前关键状态参数；
将所述第一当前关键状态参数作为变量，输入到所述第一数字孪生模型中预设的当前状态模拟模型中，输出新的当前状态数据，得到所述第一当前状态数据；
将所述当前状态数据作为新样本，输入到所述第一数字孪生模型中预设的未来状态预测模型；
所述未来状态预测模型利用隐马尔可夫模型进行后续时间序列预测，得出所述第一预测状态数据。
可选地，所述根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据的步骤，包括：
将所述场景参数中的所述环境参数、所述训练参数、所述第一当前状态数据和所述第一预测状态数据用数字化表示法整合成为第一输入向量；
收集所述虚拟训练场景对应的实际训练场景中当前实景状态数据和历史实景状态数据；
将所述第一输入向量、所述当前实景状态数据和所述历史实景状态数据预处理；
建立基于形态注意力机制的循环神经网络模型；
利用预处理后的所述历史实景状态数据对循环神经网络模型进行模型训练，微调网络参数θ，最小化训练误差，得到第一模型；
将根据所述历史实景状态数据收集的对应的验证集数据输入训练好的第一模型，预测获得短期状态序列作为第一初始结果；
通过模拟学习平台，将所述第一初始结果作为输入进行物理模拟，获得模拟序列C′；
对比C′和所述当前实景状态数据、所述历史实景状态数据，使用PPO算法调整θ，重训练第一模型；
反复迭代训练模型，更新θ，直到模型预测误差在预设范围内，得到第二模型；
将预处理后的所述第一输入向量输入所述第二模型，得到训练过程中所述第一区域内与所述虚拟训练场景对应的场地内的状态变化数据作为第一区域状态变化数据。
可选地，所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息的步骤，包括：
所述虚拟现实服务器从所述场景参数中提取场景参数向量；
所述动画特征确定模型采用前馈神经网络结构，在训练阶段以所述训练样本集进行匹配学习；
在匹配学习过程中寻求参数与特征之间的非线性映射关系表征；
将所述场景参数向量输入经过匹配学习的所述动画特征确定模型；
所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息。
可选地，所述利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据的步骤，包括：
获取所述第一区域的历史训练过程中产生的历史动画特征信息和历史状态变化数据；
将所述历史动画特征信息和所述历史状态变化数据输入预设的第一神经网络；
所述第一神经网络采用双向LSTM结构学习特征与状态之间的时间序列依赖关系；
将所述第一区域状态变化数据与所述第一动画特征信息输入所述第一神经网络；
所述第一神经网络根据所述时间序列依赖关系对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息；
将所述第二动画特征信息输入预设的动画数据确定模型；
所述动画数据确定模型调整骨骼驱动器、肌肉模拟器、服饰生成器、装备生成器、环境物体生成器的参数，生成多个匹配区域状态的动画片段数据；
将多个所述动画片段数据组合成所述动画数据。
可选地，所述根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画的步骤，包括：
从所述视频样本提取动画特征和角色模型特征，将所述动画特征和所述角色模型特征输入预设的第一深度神经网络；
所述第一深度神经网络根据所述动画特征和所述角色模型特征进行学习，建立动画-模型映射关系表；
对所述动画数据进行语义解析，提取各个动作单元及动作属性；
对所述目标角色模型进行识别解析，获取骨骼信息和外形属性；
根据所述动作单元及动作属性、所述骨骼信息和外形属性，匹配算法搜索所述动画-模型映射关系表，选择适合不同目标角色的动作单元集；
动画生成模块根据所述动作单元集生成虚拟现实动画。
可选地，所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息的步骤，包括：
从所述场景参数向量中提取出重力参数向量、地面参数向量、天气参数向量、训练对象数据向量、训练装备数据向量、训练计划数据向量；
根据分别为所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量、所述训练计划数据向量设置的不同权重，分别确定所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量对应的子动画特征信息；
使用预设的融合算法，对得到的多个所述子动画特征信息进行融合处理，得到所述第一动画特征信息；
所述预设的融合算法为带权重的融合算法，所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量各个的权重根据为所述场景参数中的所述重力参数、所述地面参数、所述天气参数、所述训练对象数据、所述训练装备数据、所述训练计划分别预设的对应权重进行确定。
采用本发明的技术方案，基于虚拟现实的动画角色生成方法包括：所述云服务器获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；所述虚拟现实服务器从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；所述虚拟现实服务器从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；所述云服务器获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。通过本发明方案，可以智能、高效、准确地生成用于虚拟训练场景中的动画。
附图说明
图1是本发明一个实施例提供的基于虚拟现实的动画角色生成系统的示意框图；
图2是本发明一个实施例提供的基于虚拟现实的动画角色生成方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图2来描述根据本发明一些实施方式提供的一种基于虚拟现实的动画角色生成系统及方法。
如图1所示，本发明一个实施例提供一种基于虚拟现实的动画角色生成系统，包括：云服务器、虚拟现实服务器和虚拟现实终端；其中，
所述云服务器用于获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；
所述虚拟现实服务器用于：
从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；
从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
所述云服务器还用于：
获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器还用于：
将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
应当知道的是，图1所示的基于虚拟现实的动画角色生成系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
请参见图2，本发明另一实施例提供一种基于虚拟现实的动画角色生成方法，应用于一种基于虚拟现实的动画角色生成系统，所述基于虚拟现实的动画角色生成系统包括云服务器、虚拟现实服务器和虚拟现实终端；所述基于虚拟现实的动画角色生成方法包括：
所述云服务器获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型（所述第一数字孪生模型包括第一区域的当前状态模拟模型、第一区域的未来状态预测模型，其中第一区域的状态包括但不限于天气状态、环境状态、空间内物体状态等）；
在本步骤中，云服务器从配置于第一区域的各类传感器和数据库中获取第一区域内的三维数据（如三维点云数据）、历史环境数据（如温度、湿度、光照等）和历史活动数据（如人流量、噪音、交通数据以及各类城市运营数据等）；将这些数据处理后输入深度学习模型，该模型通过对大量区域历史数据训练已经学习识别出该区域关键状态特征之关联；根据训练结果，云服务器利用数值模拟技术（如有限元素分析等）对第一区域各关键点进行模拟计算，建立该区域当前状态的数学描述模型；同时，基于深度学习预测模型，结合区块链技术记录和公证第一区域历史变化规律，用于预测该区域未来一定周期内的状态演变情况，最终形成包含当前状态模拟模型和未来状态预测模型两个部分的第一区域数字孪生模型。在本步骤中，可以基于第一区域数字孪生模型，对第一区域进行高精度仿真，用于评估、模拟对应的训练事项的影响因素以调整训练计划等。该实现步骤利用人工智能和物联网技术可以高效准确生成区域数字孪生，用于各类场景的重要决策支持。
所述虚拟现实服务器从所述云服务器获取所述第一区域内对应的虚拟训练场景数据（虚拟训练场景数据包括有涉及的虚拟训练场景中对应的目标角色模型、场景参数等）；
在本步骤中，虚拟现实服务器发送获取请求到云服务器，请求第一区域的第一数字孪生模型数据；云服务器利用区块链技术验证请求合法性，然后调用数字孪生模型，提取出虚拟训练场景需要的场景参数和目标角色模型等数据；采用物联网通信协议，将加密后的这部分虚拟训练场景数据发送至虚拟现实服务器；虚拟现实服务器通过深度学习模型进行解密还原，并结合自身设备能力对数据进行按比例缩放和优化处理；将优化后的虚拟训练场景数据导入虚拟现实引擎，基于此在头戴式显示设备上形成训练场景；用户可进行沉浸式虚拟训练。云端可根据训练动态实时进行回馈优化鲁棒模拟。该实现步骤利用区块链、物联网和深度学习等技术，实现了云端和边缘设备资源共享，同时保证安全可靠，可为虚拟训练应用提供坚实技术支撑。
所述虚拟现实服务器从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
在本步骤中，虚拟现实服务器采用深度学习模型对场景数据进行语义识别与标签；根据识别结果将数据划分为环境参数和训练参数两类；环境参数如重力、地面性质等通过物理模拟识别提取；训练对象、装备等通过三维重建与物体识别提取训练对象数据、装备数据；运用自然语言处理对训练计划进行语义解析，生成计划数据；检测传感器获取环境实时数据与之对比，优化参数实时性；将提取结果存储在区块链协议中，保证安全可靠。该实现利用深度学习、物理模拟与区块链技术，从大数据中智能提取场景参数。它可为场景参数管理与沉浸感调优提供技术支撑：取出精准场景参数，有效构建训练场景；提取过程智能化，进一步降低工作量；参数存储在区块链中，实时性高可靠性强。
所述云服务器获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
在本步骤中，区域内各种传感器（三维摄像头、温湿度传感器等）实时采集数据并上传到边缘设备；边缘设备使用深度学习模型对低层数据进行封装，提取特征数据；边缘设备将特征数据通过LoRa等低功耗技术同步传输到云端；云服务器使用物联网平台高效收集区域内各边缘设备数据，运用区块链技术记录和校验数据来历，保证安全可信；云服务器对采集到的数据进行聚合计算，提取区域当前关键状态参数；还可以对参数数据进行模拟预测分析；该实现利用人工智能、物联网、区块链等技术一体化处理，能实现区域数据实时高效采集与传输，提取区域当前各项关键状态参数，参数记录入区块链，同时保证数据安全可信，有效支撑区域数字孪生模型的构建与应用下的相关决策。
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息（包括动画角色信息、动画运动变化信息、动画情绪变化信息、动画状态变化信息、动画妆容信息以及附加件信息等），并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
在本实施例中，动画数据包括但不限于：
关键帧数据：记录各个时间节点的位姿、形变等关键帧信息；
骨骼运动轨迹：记录各个骨骼在整个动画序列中的运动变化轨迹；
蒙皮形变数据：记录角色表面或物体表面的形变变化情况；
关节运动数据：记录各个关节在整个动画序列中的转 angle 信息；
缓动曲线：记录关键帧与关键帧之间的缓动类型和参数；
动画属性：记录整条动画的属性信息，如名称、时长、难易程度等；
细节动作数据：对动作过程中的各种细微动作姿态进行记录，如眨眼、表情等；
附加道具数据：记录携带的武器、饰品等道具在动画中的运动数据；
环境互动数据：记录动画角色与环境的交互行为，如挥手、踢球等；
参考骨架：记录参考骨架的结构信息。
上述数据共同描述了一条完整的人物或物体动画序列，为后续生成和渲染提供了必要信息。
采用该实施例的技术方案，所述云服务器获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；所述虚拟现实服务器从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；所述虚拟现实服务器从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；所述云服务器获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。通过本发明方案，可以智能、高效、准确地生成用于虚拟训练场景中的动画。
在本发明一些可能的实施方式中，所述动画特征确定模型的训练过程包括：
获取与所述虚拟训练场景对应的真实训练视频数据和所述虚拟训练场景下的历史动画视频数据（这些历史动画视频数据为在虚拟训练场景下不同动画角色的动画数据）作为视频样本；
从各个已有的视频样本中提取多个第一图像帧；
在本步骤中，在提取图像帧时，会将视频样本分为多个视频区间，每个区间设置标签，然后从每个区间提取图像帧。
对每个所述第一图像帧提取其第一视频特征数据（如骨骼节点运动速度、运动轨迹、相对位置等），并将所述第一视频特征数据添加至所述第一图像帧作为其附属信息；
在本步骤中，提取图像帧特征信息时，会结合该帧的邻近帧来确定，同时根据区间标签确定图像帧的标注信息。
对每个所述第一图像帧标注其第一类型信息（如标签类信息(力量、速度等)、属性类信息(特征、性格等)、场景类信息等）；
将多个所述第一图像帧划分为不同组，每个组包含相关联的多个第二图像帧，每个组作为一个训练样本；
在本步骤中，将图像帧分组时，一个组包含时间上相关联的多个图像帧，共同表示一个动作。
对每个所述训练样本提取其视频特征向量和标注信息，形成带标注的样本特征数据；
根据所有样本特征数据构建训练样本集；
对所述训练样本集进行训练，得到动画特征确定模型。
在本实施例中，视频特征数据包括骨骼节点的速度、轨迹和相对位置关系等；标注信息类型包括标签类、属性类和场景类，不同类型下还有多级细分。训练采用深度学习或强化学习等算法，学习特征与标注的映射关系；也可以利用运动捕捉工具，收集大量第一手动态数据作为样本；可以基于2D动画实例提取更丰富信息（如表情、场景等）；可以结合虚拟物理模拟，考虑影响人物动作的外力因素。此外，模型训练的目的是自动确定与配置参数匹配的动画特征信息，而生成适应性动画数据，这样就可以根据不同需要快速输出个性化结果。
在本实施例中，所述动画特征确定模型能够根据用户输入的不同配置参数，查询样本库并选择最匹配的动画片段或自动拟合出个性化的新动画数据。
本实施例中，通过大量已有的训练视频数据和已经制作好的动画视频数据来学习得到配置参数与动画特征之间的映射关系，生成能够自动产出匹配动画的数据的模型。
在本发明一些可能的实施方式中，还包括：
使用深度卷积神经网络对大量三维人体扫描数据进行训练，构建更真实细致的三维人体骨骼和肌肉结构模型；
嵌入行为传感器于虚拟现实设备中，采集用户体感运动数据作为新样本；
开发基于强化学习算法的人物行为智能引擎，学习高级动作组合及情景驱动的行为特征；
运用物联网连接能力，同步更新网络中各种行为样本并进行迁移学习；
采用神经网络工艺及路径规划技术生成动画，考虑肌肉物理模拟及动作连续自然度；
结合通信协议自动推送高质量动画素材到欲使用设备，实现实时流畅渲染；
嵌入网络Neumann算子优化生成的智能助手提供情绪化互动与技能指导；
兼容AR/VR/XR多种设备，支持跨平台，且通过联邦学习分布式升级系统；
打造开放平台连通各类仿真系统，丰富样本库与应用前景。
在本实施例中，利用人工智能的优势可实现更逼真的动画体验。
在本发明一些可能的实施方式中，所述从各个已有的视频样本中提取多个第一图像帧的步骤，包括：
将多个所述视频样本导入深度学习模型进行预处理，提取所述视频样本的视频数据基本属性（如类型、主体等）作为标签；
在本步骤中，将视频样本输入到一个预先训练好的深度学习模型（比如CNN或RNN模型），这个深度学习模型经过训练可以将视觉数据转化为语义表示（比如分类、检测等）；使用这个模型对视频样本数据进行预处理，即使用模型自动提取视频的基本属性信息，如视频类型（如动作、风景等）和主体（如人、动物等）；将这些自动提取出的基本属性信息如视频类型和主体标注为该视频样本数据的标签。本步骤是利用深度学习模型对多组原始视频数据进行智能预处理，提取并标注视频数据的基本语义属性，为后续任务提供初步标签，比如分类、检索等。
使用自然语言处理对所述视频样本进行语义分割，将其分解为多个描述一个完整动作行为的语义片段；
在本步骤中，将视频样本输入NLP(自然语言处理)模型进行语义分析，NLP模型通过观察图像序列中的运动、姿态变化等，对视频中的行为进行语义描述，NLP模型将一个完整的视频行为序列分解为多个语义片段，每个语义片段使用自然语言描述视频中的一个子行为段落，比如“跳起来”、“向前走三步”等，这些语义片段连续描述可以覆盖整个视频中的完整行为流程。例如，一个篮球视频可能会被分解为：取球、运两步、起跳投篮、球进框、举起手欢呼。这就是利用NLP对视频进行语义级别的分割，将动作量化描述为多个语义片段的概念。
对每个所述语义片段采用基于卷积神经网络的图像帧提取算法，提取代表该片段信息量的图像帧集；
在本步骤中，每个语义片段通过NLP分析都描述了视频中的一个子动作行为。对每个语义片段单独进行处理：使用卷积神经网络（CNN）建立的图像帧提取算法；这个算法通过分析图像帧的视觉特征，可以判断哪些图像帧包含了该动作的关键信息；对该语义片段对应的所有图像帧运行该CNN提取算法。算法将提取出一个图像帧集，这些图像帧代表了该语义片段动作的主要信息量。例如，对一个“跳起”的语义片段，可能提取出跳起时和落地时的两个关键帧图片。本步骤的整体流程是：基于CNN，为每个已经进行NLP解释的语义片段单独提取其关键视觉信息的一组图像帧。
将同一所述语义片段内的图像帧集归为一个视频区间，区间标签采用语义分割结果；
在本步骤中，对每个语义片段通过CNN提取出了一个图像帧集，这些图像帧代表这个语义片段的视觉要点，将同一个语义片段对应的图像帧集归类为一个视频区间，也就是说，每个语义片段对应一个视频区间。比如语义片段“跳起”对应的图像帧集，就归类为一个名为“跳起”的视频区间；这个视频区间的标签，就是对应这个语义片段通过之前NLP语义分割获得的文字标签。比如“跳起”这个语义片段，其对应视频区间就直接使用“跳起”作为标签。简单来说，就是将同一个语义意思上的图像帧集归为一个具体视频片段，并采用语义分割结果为这个视频段标注名称标签，以此实现了视频按语义分割后的每个子段进行区分和标记的过程。
对所有所述视频样本进行如上处理，提取出多个第一图像帧及其所属视频区间和区间标签；
采用块链技术记录处理过程和图像帧资产，形成去中心化知识图谱。
在本实施例中，通过人工智能手段，能高效智能化提取图像帧及其属性信息。同时结合区块链技术使用，提升提取过程的可靠性和资产价值利用率，为后续深度学习模型的构建打下了可靠的数据基础。
在本发明一些可能的实施方式中，所述根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据的步骤，包括：
使用深度学习技术，将所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一数字孪生模型中包含的由所述第一区域的历史数据建立的当前状态模拟模型的第一模拟结果进行对比；
在本步骤中，第一数字孪生模型包含由所述第一区域的历史数据构建的当前状态模拟模型，这个模型在建立时会生成一个基于历史数据但针对当前状态的第一模拟结果；当前收集到三维数据、环境数据和活动数据，即真实世界的最新数据；使用深度学习技术，将这些最新收集到的实时数据与第一数字孪生模型生成的第一模拟结果进行对比；比较两组数据在关键状态参数方面的差异点，即找出用来描述区域当前状态的主要特征参数。简而言之，本步骤利用深度学习对比实际感知数据与数字孪生模型原有模拟结果之间的差异，提取出描述当前真实状态的重要指标与参数。
通过对比析并提取出所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一模拟结果的差异点作为所述第一区域当前时间点的第一当前关键状态参数；
在本步骤中，通过对比发现了两组数据在哪些关键状态参数上的差异点，这些差异参数就可以代表和描述第一区域当前时刻的真实状态，它们将被提取出来，作为第一区域当前时间点的第一当前关键状态参数。例如，模型模拟温度为25°C，实测为27°C，温度差2°C就是一个差异点；模型模拟湿度70%，实测68%，差异2%湿度也是一个差异点。将所有找到的差异点参数提取出来，就组成了“第一当前关键状态参数”，这组参数能最好地表征和诠释该区域当前时刻的真实工作状态。
将所述第一当前关键状态参数作为变量，输入到所述第一数字孪生模型中预设的当前状态模拟模型中，输出新的当前状态数据，得到所述第一当前状态数据；
在本步骤中，将第一当前关键状态参数作为变量输入到第一数字孪生模型的当前状态模拟模型，当前状态模拟模型根据各种物理模型，针对不同变量做动态响应模拟，得出当前状态数据。物理模型指的是包含利用各种数值模拟技术（如FEM、流体、粒子等）考虑指定物理规则，对区域状态数据进行动态研究的计算步骤的模型。物理模型有：有限元分析模型（利用提取出的当前关键状态参数，通过有限元分析技术对区域内结构、环境等进行动态响应计算，输出结构、环境等新的当前状态数据）；流体力学模型（如果区域内涉及流体环境，利用当前参数作为输入，通过计算流体动力学模型模拟流体状态，输出流体新的当前状态数据）；粒子系统模型（如果区域状态涉及粒子行为，利用参数作为条件，通过粒子系统模型计算粒子群新的当前状态数据）；热力学模型（如果区域状态与热转化有关，利用参数作为热源输入，通过热传导等计算热力学模型，输出涉及热的区域新的当前状态数据），等等。
将所述当前状态数据作为新样本，输入到所述第一数字孪生模型中预设的未来状态预测模型（基于所述第一区域的历史数据训练得到的预测模型）；
所述未来状态预测模型利用隐马尔可夫模型进行后续时间序列预测，得出所述第一预测状态数据（利用当前状态参数作为原点状态，通过HMM等预测模型计算出未来一段时间的状态变化数据）。
在本实施例中，利用深度学习、物理计算等技术，能够有效实现区域实时状态检测与预测计算，兼具智能性和准确性，增强区域数字孪生建模的实用性。
在本发明一些可能的实施方式中，所述根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据的步骤，包括：
将所述场景参数中的所述环境参数、所述训练参数、所述第一当前状态数据和所述第一预测状态数据用数字化表示法整合成为第一输入向量；
在本步骤中，场景参数包括环境参数（如温度、湿度等）和训练参数（如训练对象、设备等），还有第一区域当前时刻和预测时刻的状态数据，将这些参数和状态数据进行数字化编码处理，例如用实数向量表示每个参数和状态的数值大小，然后将所有编码后的参数和状态数据整合拼接起来，形成一个长向量作为第一输入向量。例如，温度：25°C =>[0.25]；湿度：60% =>[0.6]；对象：张三=>[1，0，0，...]；状态A：0.8 =>[0.8]，将以上各项拼成一个向量，就是第一个输入向量，目的是将原始参数和状态整合成统一的数字表示，作为深度学习模型的输入。
收集所述虚拟训练场景对应的实际训练场景中当前实景状态数据和历史实景状态数据（如三维空间重建数据、传感器采集数据等）；
将所述第一输入向量、所述当前实景状态数据和所述历史实景状态数据预处理（如标准化、去噪等）；
建立基于形态注意力机制的循环神经网络模型（网络结构考虑场景中时间和空间关系）；
利用预处理后的所述历史实景状态数据对循环神经网络模型进行模型训练，微调网络参数θ，最小化训练误差，得到第一模型；
将根据所述历史实景状态数据收集的对应的验证集数据输入训练好的第一模型，预测获得短期状态序列作为第一初始结果；
通过模拟学习平台，将所述第一初始结果作为输入进行物理模拟，获得模拟序列C′；
对比C′和所述当前实景状态数据、所述历史实景状态数据，使用PPO算法调整θ，重训练第一模型；
反复迭代训练模型，更新θ，直到模型预测误差在预设范围内，得到第二模型；
将预处理后的所述第一输入向量输入所述第二模型，得到训练过程中所述第一区域内与所述虚拟训练场景对应的场地内的状态变化数据作为第一区域状态变化数据。
在本步骤中，通过先前步骤得到了第一输入向量，它整合了场景参数和第一区域当前状态数据，将这个第一输入向量输入第二模型进行处理，这里的第二模型指一个已训练好的深度学习模型，这个模型通过学习，能够根据输入向量得到出该场景下该区域内的（虚拟训练场景对应的场地内）未来一段时间内状态的变化序列。比如输出各个时间点对应的温度、湿度等一系列状态数据；将这个状态变化序列看作为代表第一个区域未来状态变化的“第一区域状态变化数据”。简而言之，就是利用深度学习第二模型，基于场景参数和当前状态，预测和模拟出该虚拟训练场景下第一区域内（虚拟训练场景对应的场地内）状态在训练过程中的变化规律，这可以为后续动画生成等工作提供参考依据。
本实施例可以实现高精度地建立训练场景动态变化规律模型，通过学习和模拟区域状态高精度变化规律，实时调整模拟策略，增强模型鲁棒性。
在本发明一些可能的实施方式中，所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息的步骤，包括：
所述虚拟现实服务器从所述场景参数中提取场景参数向量；
所述动画特征确定模型采用前馈神经网络结构，在训练阶段以所述训练样本集进行匹配学习；
在匹配学习过程中寻求参数与特征之间的非线性映射关系表征；
在本步骤中，匹配学习过程指模型训练阶段，学习参数与（动画）特征之间的对应关系，模型不试图直接建立参数和特征之间的线性映射，而是通过模型的非线性表征能力，寻求它们之间更复杂的非线性映射关系。例如，参数是一个数字特征向量[1，0，0.5，...]，特征是一个分类标签，比如“跳跃”，直接线性关系无法表述此映射，但经过非线性神经网络层转换为高维特征向量后，该高维空间下可能存在简单的线性分离关系。本实施例可以通过添加隐藏层找到隐式高维特征空间，在该空间下用线性关系描述输入输出，实现对原问题的非线性建模与解码，利用非线性模型寻找参数与特征间隐含关系。
将所述场景参数向量输入经过匹配学习的所述动画特征确定模型；
所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息（第一动画特征信息包括关键点运动速度、角度、组合等定量叙述动画细节；动画生成模块可以采用特征信息自动生成功能复杂的逼真动画）。
在本实施例中，通过深度学习，该实现步骤能够高效学习训练场景参数与动画特征间隐含关系；基于场景需求快速匹配出动画方案；着力于模式匹配而非简单规则，动画效果更逼真自然；能大幅提升虚拟训练场景的真实感和沉浸度。
在本发明一些可能的实施方式中，所述利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据的步骤，包括：
获取所述第一区域的历史训练过程中产生的历史动画特征信息和历史状态变化数据；
将所述历史动画特征信息和所述历史状态变化数据输入预设的第一神经网络；
所述第一神经网络采用双向LSTM结构学习特征与状态之间的时间序列依赖关系；
将所述第一区域状态变化数据与所述第一动画特征信息输入所述第一神经网络；
所述第一神经网络根据所述时间序列依赖关系对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息（包括各个特征如动作、表情、角色属性等的定量描述向量）；
在本步骤中，第一个动画特征信息代表基础动画行为，还有第一区域内状态在训练过程中的变化序列数据（即第一区域状态变化数据），利用循环神经网络建立第一神经网络，该网络通过学习，识别出状态序列与动画特征之间的时间依赖关系，将动画特征和状态序列输入该神经网络，根据学习得到的时间依赖模型，神经网络对动画特征进行调整修改，产生一个新的第二动画特征信息，这个第二动画特征信息的各项内容（如动作、表情等）通过定量描述向量表示，可以匹配和配合区域状态序列中对应的那一阶段变化情况。
将所述第二动画特征信息输入预设的动画数据确定模型（该模型基于大量示例学习映射关系，并且包括有骨骼驱动器、肌肉模拟器、服饰生成器、装备生成器、环境物体生成器等）；
所述动画数据确定模型调整骨骼驱动器、肌肉模拟器、服饰生成器、装备生成器、环境物体生成器的参数，生成多个匹配区域状态的动画片段数据；
将多个所述动画片段数据组合成所述动画数据。
在本实施例中，可以根据区域状态实时高效生成匹配动画，增强动画自适应性和连贯性，能有效提升虚拟训练场景的真实性和沉浸度。
在本发明一些可能的实施方式中，所述根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画的步骤，包括：
从所述视频样本提取动画特征和角色模型特征，将所述动画特征和所述角色模型特征输入预设的第一深度神经网络；
在本步骤中，从视频样本中提取出两个特征：动画特征和角色模型特征。动画特征：描述该视频样本中所包含的动画行为和特征（如动作类型、速度等）；角色模型特征：描述该视频样本中的角色外观模型特征（如尺寸、姿态等）。将这两个提取出的特征作为输入数据：将动画特征和角色模型特征组合成输入数据的两个分支，将这两个分支特征一起输入到预先设计和训练好的第一深度神经网络模型；这个神经网络模型经过训练可以学习映射关系：输入动画特征和角色模型特征，建立动画-模型映射关系表。
所述第一深度神经网络根据所述动画特征和所述角色模型特征进行学习，建立动画-模型映射关系表；
对所述动画数据进行语义解析，提取各个动作单元及动作属性；
对所述目标角色模型进行识别解析，获取骨骼信息和外形属性；
根据所述动作单元及动作属性、所述骨骼信息和外形属性，匹配算法搜索所述动画-模型映射关系表，选择适合不同目标角色的动作单元集；
动画生成模块根据所述动作单元集生成虚拟现实动画。
在本实施例中，还包括：考虑身体比例等个体差异进行微调，生成个性化动画；渲染动画并同步播放多个角色，呈现物理效应；通过智能优化不断提升动画质量和兼容多个角色。
本实施例根据需求高效自动针对多个对象生成个性化动画，动画质量通过深度学习不断提升，能提供复杂虚拟训练场景体验。
在本发明一些可能的实施方式中，所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息的步骤，包括：
从所述场景参数向量中提取出重力参数向量、地面参数向量、天气参数向量、训练对象数据向量、训练装备数据向量、训练计划数据向量；
根据分别为所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量、所述训练计划数据向量设置的不同权重，分别确定所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量对应的子动画特征信息；
使用预设的融合算法，对得到的多个所述子动画特征信息进行融合处理，得到所述第一动画特征信息；
所述预设的融合算法为带权重的融合算法，所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量各个的权重根据为所述场景参数中的所述重力参数、所述地面参数、所述天气参数、所述训练对象数据、所述训练装备数据、所述训练计划分别预设的对应权重进行确定。
在本发明一些可能的实施方式中，所生成的多个目标角色的虚拟现实动画包含代表不同技能和动作的虚拟对手，用于用户在虚拟环境中进行专项技能训练；
所述训练装备数据包括：训练器械参数、医疗器械参数和机动车辆参数。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (10)

1.一种基于虚拟现实的动画角色生成系统，其特征在于，包括：云服务器、虚拟现实服务器和虚拟现实终端；其中，
所述云服务器用于获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；
所述虚拟现实服务器用于：
从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；
从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
所述云服务器还用于：
获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器还用于：
将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
2.一种基于虚拟现实的动画角色生成方法，其特征在于，应用于一种基于虚拟现实的动画角色生成系统，所述基于虚拟现实的动画角色生成系统包括云服务器、虚拟现实服务器和虚拟现实终端；所述基于虚拟现实的动画角色生成方法包括：
所述云服务器获取第一区域的三维数据、历史环境数据和历史活动数据，并根据所述三维数据、所述历史环境数据和所述历史活动数据生成所述第一区域的第一数字孪生模型；
所述虚拟现实服务器从所述云服务器获取所述第一区域内对应的虚拟训练场景数据；
所述虚拟现实服务器从所述虚拟训练场景数据中提取对应的场景参数，所述场景参数包括重力参数、地面参数、天气参数这些影响虚拟训练的环境参数以及训练对象数据、训练装备数据、训练计划数据这些训练参数；
所述云服务器获取所述第一区域的当前三维数据、当前环境数据和当前活动数据；
根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据；
根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据；
所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息；
利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据；
根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画。
3.根据权利要求2所述的基于虚拟现实的动画角色生成方法，其特征在于，所述动画特征确定模型的训练过程包括：
获取与所述虚拟训练场景对应的真实训练视频数据和所述虚拟训练场景下的历史动画视频数据作为视频样本；
从各个已有的视频样本中提取多个第一图像帧；
对每个所述第一图像帧提取其第一视频特征数据，并将所述第一视频特征数据添加至所述第一图像帧作为其附属信息；
对每个所述第一图像帧标注其第一类型信息；
将多个所述第一图像帧划分为不同组，每个组包含相关联的多个第二图像帧，每个组作为一个训练样本；
对每个所述训练样本提取其视频特征向量和标注信息，形成带标注的样本特征数据；
根据所有样本特征数据构建训练样本集；
对所述训练样本集进行训练，得到动画特征确定模型。
4.根据权利要求3所述的基于虚拟现实的动画角色生成方法，其特征在于，所述从各个已有的视频样本中提取多个第一图像帧的步骤，包括：
将多个所述视频样本导入深度学习模型进行预处理，提取所述视频样本的视频数据基本属性作为标签；
使用自然语言处理对所述视频样本进行语义分割，将其分解为多个描述一个完整动作行为的语义片段；
对每个所述语义片段采用基于卷积神经网络的图像帧提取算法，提取代表该片段信息量的图像帧集；
将同一所述语义片段内的图像帧集归为一个视频区间，区间标签采用语义分割结果；
对所有所述视频样本进行如上处理，提取出多个第一图像帧及其所属视频区间和区间标签；
采用块链技术记录处理过程和图像帧资产，形成去中心化知识图谱。
5.根据权利要求4所述的基于虚拟现实的动画角色生成方法，其特征在于，所述根据所述当前三维数据、所述当前环境数据和所述当前活动数据，结合所述第一数字孪生模型得到所述第一区域的第一当前状态数据和第一预测状态数据的步骤，包括：
使用深度学习技术，将所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一数字孪生模型中包含的由所述第一区域的历史数据建立的当前状态模拟模型的第一模拟结果进行对比；
通过对比析并提取出所述当前三维数据、所述当前环境数据、所述当前活动数据与所述第一模拟结果的差异点作为所述第一区域当前时间点的第一当前关键状态参数；
将所述第一当前关键状态参数作为变量，输入到所述第一数字孪生模型中预设的当前状态模拟模型中，输出新的当前状态数据，得到所述第一当前状态数据；
将所述当前状态数据作为新样本，输入到所述第一数字孪生模型中预设的未来状态预测模型；
所述未来状态预测模型利用隐马尔可夫模型进行后续时间序列预测，得出所述第一预测状态数据。
6.根据权利要求5所述的基于虚拟现实的动画角色生成方法，其特征在于，所述根据所述场景参数、所述第一当前状态数据和所述第一预测状态数据生成训练过程中所述第一区域内对应的第一区域状态变化数据的步骤，包括：
将所述场景参数中的所述环境参数、所述训练参数、所述第一当前状态数据和所述第一预测状态数据用数字化表示法整合成为第一输入向量；
收集所述虚拟训练场景对应的实际训练场景中当前实景状态数据和历史实景状态数据；
将所述第一输入向量、所述当前实景状态数据和所述历史实景状态数据预处理；
建立基于形态注意力机制的循环神经网络模型；
利用预处理后的所述历史实景状态数据对循环神经网络模型进行模型训练，微调网络参数θ，最小化训练误差，得到第一模型；
将根据所述历史实景状态数据收集的对应的验证集数据输入训练好的第一模型，预测获得短期状态序列作为第一初始结果；
通过模拟学习平台，将所述第一初始结果作为输入进行物理模拟，获得模拟序列C′；
对比C′和所述当前实景状态数据、所述历史实景状态数据，使用PPO算法调整θ，重训练第一模型；
反复迭代训练模型，更新θ，直到模型预测误差在预设范围内，得到第二模型；
将预处理后的所述第一输入向量输入所述第二模型，得到训练过程中所述第一区域内与所述虚拟训练场景对应的场地内的状态变化数据作为第一区域状态变化数据。
7.根据权利要求6所述的基于虚拟现实的动画角色生成方法，其特征在于，所述虚拟现实服务器将所述场景参数输入预先训练得到的动画特征确定模型，通过所述动画特征确定模型确定与所述场景参数匹配的第一动画特征信息的步骤，包括：
所述虚拟现实服务器从所述场景参数中提取场景参数向量；
所述动画特征确定模型采用前馈神经网络结构，在训练阶段以所述训练样本集进行匹配学习；
在匹配学习过程中寻求参数与特征之间的非线性映射关系表征；
将所述场景参数向量输入经过匹配学习的所述动画特征确定模型；
所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息。
8.根据权利要求7所述的基于虚拟现实的动画角色生成方法，其特征在于，所述利用所述第一区域状态变化数据对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息，并根据所述第二动画特征信息生成对应的动画数据的步骤，包括：
获取所述第一区域的历史训练过程中产生的历史动画特征信息和历史状态变化数据；
将所述历史动画特征信息和所述历史状态变化数据输入预设的第一神经网络；
所述第一神经网络采用双向LSTM结构学习特征与状态之间的时间序列依赖关系；
将所述第一区域状态变化数据与所述第一动画特征信息输入所述第一神经网络；
所述第一神经网络根据所述时间序列依赖关系对所述第一动画特征信息进行修改，得到与在训练过程中的所述第一区域内对应的区域状态变化相匹配的第二动画特征信息；
将所述第二动画特征信息输入预设的动画数据确定模型；
所述动画数据确定模型调整骨骼驱动器、肌肉模拟器、服饰生成器、装备生成器、环境物体生成器的参数，生成多个匹配区域状态的动画片段数据；
将多个所述动画片段数据组合成所述动画数据。
9.根据权利要求8所述的基于虚拟现实的动画角色生成方法，其特征在于，所述根据所述动画数据与所述虚拟训练场景数据对应的虚拟训练场景中的多个目标角色模型，生成多个目标角色的虚拟现实动画的步骤，包括：
从所述视频样本提取动画特征和角色模型特征，将所述动画特征和所述角色模型特征输入预设的第一深度神经网络；
所述第一深度神经网络根据所述动画特征和所述角色模型特征进行学习，建立动画-模型映射关系表；
对所述动画数据进行语义解析，提取各个动作单元及动作属性；
对所述目标角色模型进行识别解析，获取骨骼信息和外形属性；
根据所述动作单元及动作属性、所述骨骼信息和外形属性，匹配算法搜索所述动画-模型映射关系表，选择适合不同目标角色的动作单元集；
动画生成模块根据所述动作单元集生成虚拟现实动画。
10.根据权利要求9所述的基于虚拟现实的动画角色生成方法，其特征在于，所述动画特征确定模型计算得出与所述场景参数向量匹配的第一动画特征信息的步骤，包括：
从所述场景参数向量中提取出重力参数向量、地面参数向量、天气参数向量、训练对象数据向量、训练装备数据向量、训练计划数据向量；
根据分别为所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量、所述训练计划数据向量设置的不同权重，分别确定所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量对应的子动画特征信息；
使用预设的融合算法，对得到的多个所述子动画特征信息进行融合处理，得到所述第一动画特征信息；
所述预设的融合算法为带权重的融合算法，所述重力参数向量、所述地面参数向量、所述天气参数向量、所述训练对象数据向量、所述训练装备数据向量和所述训练计划数据向量各个的权重根据为所述场景参数中的所述重力参数、所述地面参数、所述天气参数、所述训练对象数据、所述训练装备数据、所述训练计划分别预设的对应权重进行确定。
CN202410890782.4A 2024-07-04 2024-07-04 一种基于虚拟现实的动画角色生成系统及方法 Active CN118429494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410890782.4A CN118429494B (zh) 2024-07-04 2024-07-04 一种基于虚拟现实的动画角色生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410890782.4A CN118429494B (zh) 2024-07-04 2024-07-04 一种基于虚拟现实的动画角色生成系统及方法

Publications (2)

Publication Number Publication Date
CN118429494A CN118429494A (zh) 2024-08-02
CN118429494B true CN118429494B (zh) 2024-10-01

Family

ID=92326497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410890782.4A Active CN118429494B (zh) 2024-07-04 2024-07-04 一种基于虚拟现实的动画角色生成系统及方法

Country Status (1)

Country Link
CN (1) CN118429494B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115903541A (zh) * 2022-11-16 2023-04-04 北京航空航天大学 一种基于孪生场景的视觉算法仿真数据集生成及验证方法
CN116484446A (zh) * 2023-04-17 2023-07-25 机械工业第九设计研究院股份有限公司 一种汽车制造车间生产线数字孪生模型构建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260762B (zh) * 2020-01-19 2023-03-28 腾讯科技（深圳）有限公司 一种动画实现方法、装置、电子设备和存储介质
US12062245B2 (en) * 2021-08-31 2024-08-13 Vilnius Gediminas Technical University System and method for real-time creation and execution of a human digital twin
US11908058B2 (en) * 2022-02-16 2024-02-20 Autodesk, Inc. Character animations in a virtual environment based on reconstructed three-dimensional motion data
KR20230149127A (ko) * 2022-04-19 2023-10-26 (주)스마트큐브 메타버스 플랫폼의 메타휴먼 생성 시스템
CN115222847A (zh) * 2022-07-15 2022-10-21 腾讯数码（深圳）有限公司 一种基于神经网络的动画数据生成方法、装置及相关产品
CN117095096A (zh) * 2023-08-08 2023-11-21 深圳大学 个性化人体数字孪生模型创建方法、在线驱动方法及装置
CN117574574A (zh) * 2023-11-27 2024-02-20 郑州轻工业大学 一种基于数字孪生的大型油压机虚拟仿真和优化方法
CN117351521B (zh) * 2023-12-04 2024-04-09 国网山东省电力公司电力科学研究院 基于数字孪生的输电线鸟类检测方法、系统、介质及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115903541A (zh) * 2022-11-16 2023-04-04 北京航空航天大学 一种基于孪生场景的视觉算法仿真数据集生成及验证方法
CN116484446A (zh) * 2023-04-17 2023-07-25 机械工业第九设计研究院股份有限公司 一种汽车制造车间生产线数字孪生模型构建方法

Also Published As

Publication number Publication date
CN118429494A (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
de Amorim et al. Spatial-temporal graph convolutional networks for sign language recognition
CN110532996B (zh) 视频分类的方法、信息处理的方法以及服务器
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN108961369A (zh) 生成3d动画的方法和装置
Wang et al. Unlocking the emotional world of visual media: An overview of the science, research, and impact of understanding emotion
CN115797606B (zh) 基于深度学习的3d虚拟数字人交互动作生成方法及系统
CN117197878A (zh) 基于机器学习的人物面部表情捕捉方法及系统
CN116524593A (zh) 一种动态手势识别方法、系统、设备及介质
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
Zhang et al. A Gaussian mixture based hidden Markov model for motion recognition with 3D vision device
CN116309992A (zh) 一种智能元宇宙直播人物生成方法、设备和存储介质
CN108764203A (zh) 一种面向城市规划的行人量化分析及展示系统
Lu Multifeature fusion human motion behavior recognition algorithm using deep reinforcement learning
Mousas et al. Learning motion features for example-based finger motion estimation for virtual characters
Li Application of IoT-enabled computing technology for designing sports technical action characteristic model
CN110287912A (zh) 基于深度学习的目标对象情感状态确定方法、装置及介质
Golshani et al. A multimedia information repository for cross cultural dance studies
Cai et al. An automatic music-driven folk dance movements generation method based on sequence-to-sequence network
CN118429494B (zh) 一种基于虚拟现实的动画角色生成系统及方法
Li et al. [Retracted] Human Motion Representation and Motion Pattern Recognition Based on Complex Fuzzy Theory
CN117132690A (zh) 一种图像生成方法及相关装置
CN117808934A (zh) 一种数据处理方法及相关设备
CN116958337A (zh) 虚拟对象动画生成方法、装置、电子设备及可读存储介质
Han et al. Computer Aided Dance Art Action Identification and Classification Algorithm Based on Machine Learning
Narang et al. Generating virtual avatars with personalized walking gaits using commodity hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant