Nothing Special   »   [go: up one dir, main page]

CN114820938A - 一种元宇宙场景素材的建模方法及相关装置 - Google Patents

一种元宇宙场景素材的建模方法及相关装置 Download PDF

Info

Publication number
CN114820938A
CN114820938A CN202210454866.4A CN202210454866A CN114820938A CN 114820938 A CN114820938 A CN 114820938A CN 202210454866 A CN202210454866 A CN 202210454866A CN 114820938 A CN114820938 A CN 114820938A
Authority
CN
China
Prior art keywords
image
edge contour
edge
objects
contour line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454866.4A
Other languages
English (en)
Inventor
林开来
洪国伟
董治
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN202210454866.4A priority Critical patent/CN114820938A/zh
Publication of CN114820938A publication Critical patent/CN114820938A/zh
Priority to KR1020247019637A priority patent/KR20240100428A/ko
Priority to PCT/CN2023/089418 priority patent/WO2023207741A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种元宇宙场景素材的建模方法，以用于自动将获取的待建模物件的图像生成用户可以自定义编辑的物件模型，从而在提升素材生成效率的前提下，满足了用户的个性化需求。本发明实施例方法包括：获取待建模物件的图像；将所述图像中的物件进行边缘检测，以提取出所述图像中物件的边缘轮廓线条；对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。

Description

一种元宇宙场景素材的建模方法及相关装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种元宇宙场景素材的建模方法及相关装置。
背景技术
针对2D元宇宙场景中的素材扩展需求，目标常用的方法是以人工绘制素材为主，设计师需要提前绘制好需要的素材，然后单独上色。
这种方式至少存在以下缺点：
1、扩充元宇宙场景需要很多素材，从而导致需要大量的人力和时间来设计绘制。
2、设置好的素材不能满足用户个性化定制的需求。
发明内容
本发明实施例提供了一种元宇宙场景素材的建模方法，以用于自动将获取的待建模物件的图像生成用户可以自定义编辑的物件模型，从而在提升素材生成效率的前提下，满足了用户的个性化需求。
本申请实施例第一方面提供了一种元宇宙场景素材的建模方法，包括：
获取待建模物件的图像；
将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
优选的，所述将所述图像中的物件进行边缘检测，以提取出所述图像中物件的边缘轮廓线条，包括：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
优选的，在提取出所述图像中物件的边缘轮廓线条之后，对所述图像中物件的边缘轮廓线条进行矢量化处理之前，所述方法还包括：
对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，所述对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条，包括：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，在得到消除噪声后的图像中物件的边缘轮廓线条以后，所述方法还包括：
对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
优选的，所述对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀，包括：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
优选的，所述宽网络模型和灵活网络模型的网络结构相同，卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
优选的，所述对所述图像中物件的边缘轮廓线条进行矢量化处理，包括：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
本申请实施例第二方面提供了一种元宇宙场景素材的建模装置，包括：
获取单元，用于获取待建模物件的图像；
边缘检测单元，用于将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
矢量化单元，用于对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
编辑单元，用于对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
优选的，所述边缘检测单元具体用于：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
优选的，所述装置还包括：
消噪单元，用于对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，所述消噪单元具体用于：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，所述装置还包括：
线条均一化单元，用于：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
优选的，所述宽网络模型和灵活网络模型的网络结构相同，卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
优选的，矢量化单元具体用于：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
本申请实施例还提供了一种计算机装置，包括处理器和存储器，处理器在执行存储于存储器上的计算机程序时，用于实现本申请实施例第一方面所述的元宇宙场景素材的建模方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，用于实现本申请实施例第一方面所述的元宇宙场景素材的建模方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本申请实施例中，获取待建模物件的图像；将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
因为本申请实施例可以直接通过计算机设备获取待建模物件的图像，并对待建模物件的图像执行边缘检测和矢量化处理，从而得到可供用户编辑的元宇宙场景中物件的模型，从而一方面提升了元宇宙场景中物件模型的生成效率，另一方面也使生成的元宇宙场景中物件的模型支持用户的自定义编辑，满足了用户的个性化需求。
附图说明
图1为本申请实施例中元宇宙场景素材的建模系统的架构示意图；
图2为本申请实施例中元宇宙场景素材的建模方法的一个实施例示意图；
图3为本申请实施例中椅子图片和椅子边缘轮廓线条的示意图；
图4为本申请图2实施例中步骤202的细化步骤；
图5为本申请实施例中边缘检测模型的示意图；
图6为本申请实施例中消噪前后椅子边缘轮廓线条的对比示意图；
图7为本申请实施例中均一化处理前后椅子边缘轮廓线条的对比示意图；
图8为本申请实施例中元宇宙场景素材的建模方法的另一个实施例示意图；
图9为本申请实施例中U-Net模式的结构线提取模型示意图；
图10为本申请实施例中对矢量图中的边缘轮廓线条编辑的示意图；
图11为本申请实施例中对矢量图上色的示意图；
图12为本申请实施例中元宇宙场景素材的建模装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种宇宙场景素材的建模方法，以用于自动将获取到的待建模物件的图像执行边缘检测和矢量化处理，从而得到可供用户编辑的元宇宙场景中物件的模型，从而一方面提升了元宇宙场景中物件模型的生成效率，另一方面也使得生成的元宇宙场景中物件的模型支持用户的自定义编辑，满足了用户的个性化需求。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对现有技术中，在生成元宇宙场景中素材的模型时，耗时耗力的问题，本申请提出了一种元宇宙场景素材的建模方法，用于提升生成元宇宙场景中物件模型的效率。
为了更好地实现上述元宇宙场景素材的建模方法，本申请提供了一种元宇宙场景素材的建模系统，请参阅图1，图1为本申请实施例提供的一种元宇宙场景素材的建模系统的架构示意图。该建模系统可以包括至少一个终端设备101和一个服务器102；终端设备101上可以安装有不同类型的应用程序，例如，终端设备101上可以安装有在线图像处理程序、照片库应用程序等；该终端设备101可以为智能手机、平板电脑、笔记本电脑、台式电脑、智能车载、可穿戴设备等。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云数据库、云计算机、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发服务以及大数据和人工智能平台等基础云计算服务的云服务器等。
其中，上述元宇宙场景素材的建模方法可以由终端设备101和/或服务器102执行，当该建模方法由终端设备101执行时，终端设备101在不同类型静音程序中所获取的待建模物件的图像可以存储于服务器中，然后当终端设备需要对待建模物件的图像执行处理时，终端设备101可以向服务器102获取待建模物件的图像，然后终端设备101在从服务器102中获取到待建模物件的图像后，可以对图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；然后对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；最后对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
基于上述提供的元宇宙场景素材的建模方案和建模系统，请参阅图2，图2为本申请中元宇宙场景素材的建模方法的一个实施例示意图。该建模方法可以由智能设备来执行，该智能设备可以是上述终端设备101或服务器102。该建模方法具体包括：
201、获取待建模物件的图像；
区别于现有技术中在生成元宇宙场景中素材的模型时，需要设计师手绘素材，而导致素材获取效率低下的问题，本申请实施例可以将获取到的待建模物件的图像执行下述处理，以自动生成元宇宙场景中物件的模型。
元宇宙是一个独立于现实世界的虚拟数字世界，它融合了虚拟现实技术，用专属硬件设备打造了一个具有超强沉浸感的社交平台，在元宇宙的场景中，基于虚拟的数字世界，往往需要一些支持该场景的素材(物件模型)存在，以完成用户与元宇宙场景之间的互动。
容易理解的是，在对待建模物件的图像执行处理前，需要先获取待建模物件的图像，而待建模物件的图像可以是任一静态图片或动态图片的任一帧图像等，本申请实施例不作限定。
在具体实现时，智能设备可以从本地空间中所预先保存的图像资源或视频资源中获取待建模物件的图像。其中，从图像资源中获取待建模物件图像的具体实时方式可以是：若图像资源是一个静态图像，则可以直接将该资源图像作为待建模物件的图像；若图像资源是一个视频库，则可以从视频库的各帧图像中获取待建模物件的图像。
在一个实施例中，当用户需要获取元宇宙场景中某个物件的模型时，可以提交待建模物件的图像；智能设备接收用户发送的待建模物件的图像发送请求，该发送请求中携带有待建模物件的图像。
202、将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
在具体实现中，智能设备可以调用边缘检测模型对图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条。例如在图3中，边缘检测模型对图像中的椅子进行边缘检测，从而提取出椅子的边缘轮廓线条。
至于本申请中如何利用边缘检测模型对图像中物件边缘轮廓线条的提取过程，将在下面的实施例中进行描述，此处不再赘述。
203、对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
因为步骤202中得到图像中物件的边缘轮廓线条一般为位图，而位图不支持用户的自定义的编辑和修改，为了使得图像中物件的边缘轮廓线条支持用户的自定义修改，本申请实施例对图像中物件的边缘轮廓线条进行矢量化处理，以得到图像中物件的边缘轮廓线条的矢量图，其中，该矢量图中的矢量线条及由矢量线条组成的闭合区域支持用户的自定义修改。
具体的，对于将图像中物件的边缘轮廓线条进行矢量化处理，以得到矢量图的过程，也将在下面的实施例中进行描述，此处也不再赘述。
204、对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
因为步骤203中的矢量图中的矢量线条及由矢量线条组成的闭合区域支持用户的自定义修改，故智能设备可以对矢量图中的矢量线条及由矢量线条组成的闭合区域进行编辑，以得到图像中物件的模型。
如改变矢量图中各矢量线条的粗细或长短，或者对矢量线条所组成的闭合区域进行上色，以得到图像中物件的模型。
本申请实施例中，获取待建模物件的图像；将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
因为本申请实施例可以通过智能设备对待建模物件的图像执行边缘检测和矢量化处理，从而得到待建模图像中物件的边缘轮廓线条矢量图，然后智能设备进一步对矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型，从而一方面提升了元宇宙场景中素材建模的效率，另一方面使得待建模物件的矢量图支持用户的自定义修改，满足了用户的个性化需求。
基于图2所述的实施例，下面对图2中的步骤202做详细描述，请参阅图4，图4为图2施例中步骤202的细化步骤：
401、获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
在一个实施例中，该边缘检测模型包括边缘提取模块和上采样模块，其中，边缘提取模块和上采样模块分别都由卷积网络组成。
402、将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
智能设备将建模物件的图像输入至边缘提取模块，以通过边缘提取模块中的卷积网络，逐步提取出图像中物件的边缘特征。
403、将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
而为了根据图像中物件的边缘特征生成图形中物件的边缘轮廓线条，智能设备将边缘边缘提取模块中每个卷积层所输出的边缘特征输入至上采样模块，以对图像中物件的边缘特征执行上采样，以生成图形中物件的边缘轮廓线条。
由于卷积层的层数越多，会导致丢失重要的边缘特征，故本申请实施例中的上采样模块可以将每次输出后的边缘特征平均化，以生成待建模图像中物件最终的边缘轮廓线条。
为了便于理解，图5给出了边缘检测模型的示意图，该边缘检测模型包括边缘提取模块和上采样模块。具体的，边缘提取模块包括卷积网络，如图5中的多个W*W的卷积核，以对输入图像执行卷积运算，从而逐步提取出照片中图像的边缘轮廓线条，而为了保证从照片中提出出图像的边缘轮廓线条的完整性，在每个卷积核的后面设置了对应的上采样单元，以用于接收卷积核提取出的图像的边缘特征，并对边缘特征执行上采样，而图5中的多个上采样单元组成了本申请实施例中的上采样模块。
具体的，本申请实施例中的上采样单元包括两种类型的上采样单元，如第一上采样单元和第二上采样单元，其中，第一上采样单元和第二上采样单元的结构类似，区别在于两者的卷积核的数量不同，且每个第一上采样单元和每个第二上采样单元的结构都为2层，一个卷积和一个反卷积，如第一上采样单元的结构为：1*1卷积，Relu激活函数和s*s的反卷积，s值为输入的图像的特征图大小，而最后一个卷积层没有激活函数，其中，第一上采样单元和第二上采样单元的适用对象不同，第一上采样单元是图像的边缘轮廓线条的特征映射与真实值之间的尺度差大于2的时候使用，而第二上采样单元是图像的边缘轮廓线条的特征映射与真实值之间的尺度差等于2的时候使用，以方便快速生成待建模物件的边缘轮廓线条。
进一步，因为上采样模块的层数越多，会导致失去某些重要的边缘特征，为了保证上采样模块输出的图像的边缘轮廓线条的均匀性，本申请实施例中的上采样模块还可以将每次上采样后的边缘特征平均化，以生成待建模物件图像的边缘轮廓线条。
本申请实施例中对提取待建模图像中物件的边缘轮廓线条的边缘检测模型做了详细描述，从而提升了提取出图像中物件的边缘轮廓线条过程的可靠性。
基于图2所述的实施例，实验证明从步骤202中所提取出的图像的边缘轮廓线条往往具有一定的噪声，且图像的边缘轮廓线条往往粗细不均，从而造成图像的可视性较差，如图6给出了带有噪声的椅子的边缘轮廓线条和消除噪声后椅子的边缘轮廓线条的对比示意图，图7给出了对椅子的边缘轮廓条执行均一化处理前后的对比示意图。
针对该问题，本申请实施例还可以分别执行以下步骤，以对步骤202中提取出的图像的边缘轮廓线条的图像质量进行改善，请参阅图8，图8为本申请实施例中元宇宙场景素材的建模方法的另一个实施例：
801、获取待建模物件的图像；
802、将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
需要说明的是，本申请实施例中的步骤801至802与图1中的步骤101至102的描述类似，此处不再赘述。
803、对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条；
为了消除步骤202中提取出的图像的边缘轮廓线条所存在的噪声，本申请实施例对图像的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
具体的，本申请实施例是调用结构线提取模型对图像中物件的边缘轮廓线条进行消噪处理，以消除所述图像中物件的边缘轮廓线条中的噪声，得到消除噪声后的图像中物件的边缘轮廓线条。
在一个实施例中，该结构线提取模型可以是卷积神经网络；智能设备调用卷积神经网络对图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
其中，该卷积神经网络包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块，该卷积神经网络可以采用如图9所示的U-Net模式，在该卷积神经网络中包括下采样模块901、残差神经网络模块902和上采样模块903，且每层下采样模块901和每层上采样模块903之后都对应设置有残差神经网络模块902。
将待建模图像中物件的边缘轮廓线条依次输入每层的下采样模块901和每层的残差神经网络模块902后，以对图像中物件的边缘轮廓线条执行下采样，并将下采样后的的图像中物件的边缘轮廓线条特征执行记忆，以得到比待建模物件的图像尺寸较小的特征图；而上采样模块903用于将比待建模物件的图像尺寸较小的特征图进行还原，以得到与待建模物件的图像尺寸相同的图像，根据下采样模块的卷积核参数，在上采样模块中选择与之对应的卷积核参数，不断进行上采样过程来保证特征图尺寸相同。
需要说明的是，每层上采样模块903之后也对应设置有残差神经网络模块902，以用于将每次上采样后的图像中物件的边缘轮廓线条特征进行记忆，以防随着结构线提取模型网络层数的增加，出现梯度爆炸或梯度消失问题，可以迅速将结构线提取模型的网络层数迅速恢复至原有学习到的图像中物件的边缘轮廓线条特征所对应的网络层数，从而保证了结构线提取模型的完备性。
在结构线提取模型中，相同尺寸大小的特征图所对应的下采样模块901和上采样模块903之间可以具有跨线链接，该跨线链接用于快速还原信息损失。
804、对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀；
步骤803中得到消除噪声后的图像中物件的边缘轮廓线条后，为了保证线条粗细颜色的均匀性，还可以对消除噪声后的图像中物件的边缘轮廓线条进行均一化处理。
作为一种实时方式，智能设备可以调用预先训练的线宽标准化模型，并将消除噪声后的图像中物件的边缘轮廓线条输入至线宽标准模块，以使得消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀，其中，线宽标准模模型包括宽网络模块和灵活网络模型中的至少一个。
具体的，本申请实施例中的宽网络模型和灵活网络模型的网络结构相同，但卷积核的个数不同，其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
为方便理解，下面举例进行说明：
假设宽网络模型和灵活网络模型的第一层都为9*9的卷积核，而其他层都为3*3的卷积核，唯一的区别是宽网络模型中设置有64个卷积核，而灵活网络模型只设置了32个卷积核，而为了保证神经网络不受数据分布的影响，以及神经网络的非线性，本申请实施例中在每个卷积层后都设置有归一化函数和激活函数，而为了让输出结果在(0，1)之间，本申请实施例将宽网络模型和灵活网络模型最后一层设置为sigmod函数。
容易理解的是，在将图像的边缘轮廓线条输入至宽网络模型和/或灵活网络模型之前，还需要对宽网络模型和灵活网络模型进行训练，而本申请实施例中的训练数据源一般采用TUD-Berlin数据集、QuickDraw数据集、KanjiVG数据集或人工回执的图案等。
针对本申请实施例中的宽网络模型，一般输入图的线条宽为0.5至10个像素点，而灵活网络模型，一般输入图的线条宽为0.5至3个像素点，训练后的输出线宽为2像素的线条图。
805、对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
具体的，因为从待建模物件的图像中所提取出物件的边缘轮廓线条一般为位图，而位图在修改的过程中，一般会导致图像的分辨率发生较大的变化，针对该问题，本申请实施例可以利用预设的图像处理工具对待建模图像中物件的边缘轮廓线条进行矢量化处理，从而的到图像中物件的边缘轮廓线条的矢量图，其中，矢量图中的矢量线条及由所述矢量线条组成的闭合区域支持用户自定义修改。
具体的，假设图像中物件的边缘轮廓线条图为sketch.png的图片，则可以在Linux系统中使用命令“convert sketch.png sketch.pnm”得到pnm位图，再使用命令“potracesketch.pnm-s-o sketch.svg”得到最后的矢量图，而矢量图放大后，物体的边缘轮廓一直是平滑的，且不会出现锯齿状的像素点。
806、对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
进一步，智能设备还可以使用矢量图编辑器如scratch-paint，对矢量图中的边缘轮廓线条进行缩放和修改，也可以编辑每个闭合区域的颜色，具体的如图10和11所示，其中，图10为对矢量图中的边缘轮廓线条进行编辑的示意图，图11为对矢量图中的矢量线条组成的闭合区域进行上色编辑的示意图。
上面对本申请实施例中拍照建物的方法做了描述，下面接着对本申请实施例中拍照建物的装置进行描述，请参阅图12，本申请实施例中拍照建物的装置的一个实施例，包括：
获取单元1201，用于获取待建模物件的图像；
边缘检测单元1202，用于将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
矢量化单元1203，用于对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
编辑单元1204，用于对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
优选的，所述边缘检测单元1202具体用于：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
优选的，所述装置还包括：
消噪单元1205，用于对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，所述消噪单元1205具体用于：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
优选的，所述装置还包括：
线条均一化单元1206，用于：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
优选的，所述宽网络模型和灵活网络模型的网络结构相同，卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
优选的，矢量化单元1203具体用于：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
需要说明的是，本申请实施例中各单元的作用与图1至图11中描述的类似，此处不再赘述。
因为本申请实施例可以通过边缘检测单元1202和矢量化单元1203对待建模物件的图像执行边缘检测和矢量化处理，从而得到待建模图像中物件的边缘轮廓线条矢量图，然后通过编辑单元1204进一步对矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型，从而一方面提升了元宇宙场景中素材建模的效率，另一方面使得待建模物件的矢量图支持用户的自定义修改，满足了用户的个性化需求。
上面从模块化功能实体的角度对本发明实施例中的元宇宙场景素材的建模装置进行了描述，下面从硬件处理的角度对本发明实施例中的计算机装置进行描述：
该计算机装置用于实现元宇宙场景素材的建模装置的功能，本发明实施例中计算机装置一个实施例包括：
处理器以及存储器；
存储器用于存储计算机程序，处理器用于执行存储器中存储的计算机程序时，可以实现如下步骤：
获取待建模物件的图像；
将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
在本发明的一些实施例中，处理器，还可以用于实现如下步骤：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
在本发明的一些实施例中，在提取出所述图像中物件的边缘轮廓线条之后，对所述图像中物件的边缘轮廓线条进行矢量化处理之前，处理器，还可以用于实现如下步骤：
对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
在本发明的一些实施例中，处理器，还可以用于实现如下步骤：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
在本发明的一些实施例中，在得到消除噪声后的图像中物件的边缘轮廓线条以后，处理器，还可以用于实现如下步骤：
对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
在本发明的一些实施例中，处理器，还可以用于实现如下步骤：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
在本发明的一些实施例中，所述宽网络模型和灵活网络模型的网络结构相同，卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
在本发明的一些实施例中，处理器，还可以用于实现如下步骤：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
可以理解的是，上述说明的计算机装置中的处理器执行所述计算机程序时，也可以实现上述对应的各装置实施例中各单元的功能，此处不再赘述。示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述拍照建物的装置中的执行过程。例如，所述计算机程序可以被分割成上述拍照建物的装置中的各单元，各单元可以实现如上述相应拍照建物的装置说明的具体功能。
所述计算机装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，处理器、存储器仅仅是计算机装置的示例，并不构成对计算机装置的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机装置还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质用于实现元宇宙场景素材的建模装置的功能，其上存储有计算机程序，计算机程序被处理器执行时，处理器，可以用于执行如下步骤：
获取待建模物件的图像；
将图像中的物件进行边缘检测，以提取出图像中物件的边缘轮廓线条；
对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
在本发明的一些实施例中，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
在本发明的一些实施例中，在提取出所述图像中物件的边缘轮廓线条之后，对所述图像中物件的边缘轮廓线条进行矢量化处理之前，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
在本发明的一些实施例中，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
在本发明的一些实施例中，在得到消除噪声后的图像中物件的边缘轮廓线条以后，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
在本发明的一些实施例中，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
在本发明的一些实施例中，所述宽网络模型和灵活网络模型的网络结构相同，卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
在本发明的一些实施例中，计算机程序被处理器执行时，处理器，还可以用于实现如下步骤：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
可以理解的是，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种元宇宙场景素材的建模方法，其特征在于，包括：
获取待建模物件的图像；
将所述图像中的物件进行边缘检测，以提取出所述图像中物件的边缘轮廓线条；
对所述图像中物件的边缘轮廓线条进行矢量化处理，以得到所述图像中物件的边缘轮廓线条矢量图；
对所述矢量图中的矢量线条及由所述矢量线条组成的闭合区域进行编辑，以得到所述图像中物件的模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述图像中的物件进行边缘检测，以提取出所述图像中物件的边缘轮廓线条，包括：
获取边缘检测模型，所述边缘检测模型包括边缘提取模块和上采样模块；
将所述图像输入至所述边缘提取模块，以通过所述边缘提取模块中的卷积网络，逐步提取出所述图像中物件的边缘特征；
将所述图像中物件的边缘特征输入至所述上采样模块，以对所述图像中物件的边缘特征执行上采样，并将上采样后的边缘特征平均化，以提取出所述图像中物件的边缘轮廓线条。
3.根据权利要求1所述的方法，其特征在于，在提取出所述图像中物件的边缘轮廓线条之后，对所述图像中物件的边缘轮廓线条进行矢量化处理之前，所述方法还包括：
对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条。
4.根据权利要求3所述的方法，其特征在于，所述对所述图像中物件的边缘轮廓线条进行消噪处理，以得到消除噪声后的图像中物件的边缘轮廓线条，包括：
获取结构线提取模型，所述结构线提取模型包括预设层数的下采样模块和预设层数的上采样模块，且每层下采样模块和每层上采样模块之后都设置有残差神经网络模块；
将所述图像的边缘轮廓线条依次输入至所述预设层数的下采样模块和每层下采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条执行下采样，并将下采样后的图像中物件的边缘轮廓线条特征执行记忆；
将所述下采样后的图像中物件的边缘轮廓线条特征依次输入至所述预设层数的上采样模块和每层上采样模块后的残差神经网络模块，以对所述图像中物件的边缘轮廓线条特征执行上采样，并将上采样后的图像中物件的边缘轮廓线条特征执行记忆，以得到消除噪声后的图像中物件的边缘轮廓线条。
5.根据权利要求3所述的方法，其特征在于，在得到消除噪声后的图像中物件的边缘轮廓线条以后，所述方法还包括：
对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
6.根据权利要求5所述的方法，其特征在于，所述对消除噪声后的图像中的物件的边缘轮廓线条进行均一化处理，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀，包括：
获取预先训练的线宽标准化模型，所述线宽标准化模型包括宽网络模型和灵活网络模型中的至少一个；
将所述消除噪声后的图像中物件的边缘轮廓线条输入至所述线宽标准化模型，使得所述消除噪声后的图像中物件的边缘轮廓线条粗细颜色均匀。
7.根据权利要求6所述的方法，其特征在于，所述宽网络模型和灵活网络模型的网络结构相同，但卷积核的个数不同；
其中，所述宽网络模型的第一层为N*N的卷积核，其他层为M*M的卷积核，最后一层为sigmod函数，且每个卷积层后都设置有归一化函数和激活函数，所述N大于所述M。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述图像中物件的边缘轮廓线条进行矢量化处理，包括：
利用预设的矢量化图像处理工具对所述图像中物件的边缘轮廓线条进行矢量化处理，所述预设的矢量化图像处理工具包括Potrace和Imagemagick工具。
9.一种计算机装置，包括处理器和存储器，其特征在于，所述处理器在执行存储于存储器上的计算机程序时，用于实现如权利要求1至8中任一项所述的元宇宙场景素材的建模方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，用于实现如权利要求1至8中任一项所述的元宇宙场景素材的建模方法。
CN202210454866.4A 2022-04-24 2022-04-24 一种元宇宙场景素材的建模方法及相关装置 Pending CN114820938A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210454866.4A CN114820938A (zh) 2022-04-24 2022-04-24 一种元宇宙场景素材的建模方法及相关装置
KR1020247019637A KR20240100428A (ko) 2022-04-24 2023-04-20 메타버스 장면 소재의 모델링 방법 및 관련 장치
PCT/CN2023/089418 WO2023207741A1 (zh) 2022-04-24 2023-04-20 一种元宇宙场景素材的建模方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454866.4A CN114820938A (zh) 2022-04-24 2022-04-24 一种元宇宙场景素材的建模方法及相关装置

Publications (1)

Publication Number Publication Date
CN114820938A true CN114820938A (zh) 2022-07-29

Family

ID=82509611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454866.4A Pending CN114820938A (zh) 2022-04-24 2022-04-24 一种元宇宙场景素材的建模方法及相关装置

Country Status (3)

Country Link
KR (1) KR20240100428A (zh)
CN (1) CN114820938A (zh)
WO (1) WO2023207741A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207741A1 (zh) * 2022-04-24 2023-11-02 腾讯音乐娱乐科技（深圳）有限公司 一种元宇宙场景素材的建模方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621764B2 (en) * 2018-07-05 2020-04-14 Adobe Inc. Colorizing vector graphic objects
CN110120047B (zh) * 2019-04-04 2023-08-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN111462023B (zh) * 2020-03-31 2023-05-23 上海大学 一种图像纹理线条矢量化系统和方法
CN111968145B (zh) * 2020-10-23 2021-01-15 腾讯科技（深圳）有限公司 箱式结构识别方法、装置、电子设备及存储介质
CN112347288B (zh) * 2020-11-10 2024-02-20 北京北大方正电子有限公司 一种字图的矢量化方法
CN114820938A (zh) * 2022-04-24 2022-07-29 腾讯音乐娱乐科技（深圳）有限公司 一种元宇宙场景素材的建模方法及相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207741A1 (zh) * 2022-04-24 2023-11-02 腾讯音乐娱乐科技（深圳）有限公司 一种元宇宙场景素材的建模方法及相关装置

Also Published As

Publication number Publication date
WO2023207741A1 (zh) 2023-11-02
KR20240100428A (ko) 2024-07-01
WO2023207741A9 (zh) 2024-08-22

Similar Documents

Publication Publication Date Title
CN109670558B (zh) 使用深度学习的数字图像完成
JP7446457B2 (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
WO2021109876A1 (zh) 图像处理方法、装置、设备及存储介质
US10922860B2 (en) Line drawing generation
CN112330574A (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN111047509B (zh) 一种图像特效处理方法、装置及终端
EP4092629A2 (en) Method and apparatus for displaying objects, and storage medium
CN110533594A (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN110852980A (zh) 交互式图像填充方法及系统、服务器、设备及介质
Li et al. Frequency separation network for image super-resolution
WO2023207741A9 (zh) 一种元宇宙场景素材的建模方法及相关装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113902671B (zh) 一种基于随机纹理的图像隐写方法和系统
Tsubokawa et al. Local look-up table upsampling for accelerating image processing
Dey Image Processing Masterclass with Python: 50+ Solutions and Techniques Solving Complex Digital Image Processing Challenges Using Numpy, Scipy, Pytorch and Keras (English Edition)
CN115713585B (zh) 纹理图像重建方法、装置、计算机设备和存储介质
US20240161362A1 (en) Target-augmented material maps
CN113379768A (zh) 一种图像处理方法、装置、存储介质和计算机设备
CN114861904A (zh) 图像训练数据的生成方法、装置、终端设备及存储介质
CN111383199A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
Naderi et al. Aesthetic-aware image retargeting based on foreground–background separation and PSO optimization
CN112785599B (zh) 图像扩展方法及装置
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质
CN109712094A (zh) 图像处理方法及装置
CN115641267A (zh) 人脸图像的修复方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination