Nothing Special   »   [go: up one dir, main page]

CN118013132B - 基于人工智能的信息预测方法、相关设备及存储介质 - Google Patents

基于人工智能的信息预测方法、相关设备及存储介质 Download PDF

Info

Publication number
CN118013132B
CN118013132B CN202410426655.9A CN202410426655A CN118013132B CN 118013132 B CN118013132 B CN 118013132B CN 202410426655 A CN202410426655 A CN 202410426655A CN 118013132 B CN118013132 B CN 118013132B
Authority
CN
China
Prior art keywords
hidden layer
neural network
network model
training
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410426655.9A
Other languages
English (en)
Other versions
CN118013132A (zh
Inventor
陈皇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410426655.9A priority Critical patent/CN118013132B/zh
Publication of CN118013132A publication Critical patent/CN118013132A/zh
Application granted granted Critical
Publication of CN118013132B publication Critical patent/CN118013132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于人工智能的信息预测方法、相关设备及存储介质，适于基于深度学习网络而实现的信息预测业务。该方法在从信息预测请求中获取到业务数据后，采用目标神经网络模型对业务数据进行特征提取，以基于提取到的业务数据特征执行信息预测，得到信息预测结果。目标神经网络模型是通过对参考神经网络模型进行参数值优化处理与参数优化处理后的压缩处理得到的，参数值优化处理至少包含对各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，且掩码参数用于指示隐藏层神经元的重要程度，压缩处理是指删除参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元，从而提升信息预测效率并降低业务部署成本。

Description

基于人工智能的信息预测方法、相关设备及存储介质
技术领域
本申请涉及计算机技术与人工智能技术领域，尤其涉及一种基于人工智能的信息预测方法、相关设备及存储介质。
背景技术
近年来，随着人工智能技术的飞速发展，各行各业中均存在人工智能程序产品的应用身影。当前大多数的人工智能程序产品是基于对人工神经网络的利用而研发的。以交通行业下的交通信息预测为例，当前通常会在交通设备中安装人工智能程序，以采用该程序对交通设备采集到的交通图像进行特征提取，进而基于提取的图像特征预测出较为准确的道路通畅情况或交通违章事件等信息。
当前虽然能够基于人工神经网络预测出较为准确的信息，但基于人工神经网络的信息预测过程却涉及庞大的数据计算量，不仅导致信息预测的整体效率不够理想，还提升了对信息预测业务的部署设备的性能要求，使得信息预测业务的部署场景得到了很大限制。有鉴于此，如何降低对部署设备的性能要求并提升信息预测的整体效率，便成了当前各类信息预测业务领域内的一项重要技术挑战。
发明内容
本申请实施例提供了一种基于人工智能的信息预测方法、相关设备及存储介质，可在降低对部署设备的性能要求的同时，提升信息预测的整体效率。
一方面，本申请实施例提供了一种基于人工智能的信息预测方法，包括：
响应于目标业务下的信息预测请求，从所述信息预测请求中获取用于信息预测的业务数据；
采用目标神经网络模型对所述业务数据进行特征提取，并基于提取到的业务数据特征执行所述信息预测，得到信息预测结果；
其中，所述目标神经网络模型是通过对参考神经网络模型进行训练处理得到的，所述参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且所述掩码参数用于指示所述隐藏层神经元的重要程度，所述训练处理包括对所述参考神经网络模型中隐藏层的参数值优化处理与所述参数值优化处理后的压缩处理，所述参数值优化处理至少包含对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，所述压缩处理是指删除所述参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元。
再一方面，本申请实施例提供了一种基于人工智能的信息预测装置，包括：
请求响应单元，用于响应于目标业务下的信息预测请求，从所述信息预测请求中获取用于信息预测的业务数据；
信息预测单元，用于采用目标神经网络模型对所述业务数据进行特征提取，并基于提取到的业务数据特征执行所述信息预测，得到信息预测结果；
其中，所述目标神经网络模型是通过对参考神经网络模型进行训练处理得到的，所述参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且所述掩码参数用于指示所述隐藏层神经元的重要程度，所述训练处理包括对所述参考神经网络模型中隐藏层的参数值优化处理与所述参数值优化处理后的压缩处理，所述参数值优化处理至少包含对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，所述压缩处理是指删除所述参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元。
再一方面，本申请实施例还提供了一种计算机设备，包括：
处理器，所述处理器适于实现一条或多条计算机程序；
存储介质，所述存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面的方法。
再一方面，本申请实施例还提供了一种存储介质，所述存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如第一方面的方法。
再一方面，本申请实施例还提出了一种程序产品，该程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行如第一方面的方法。
本申请实施例中，计算机设备在响应信息预测请求以执行信息预测时，采用的目标神经网络模型是对参考神经网络模型进行参数值优化处理与参数值优化处理后的压缩处理得到的，由于其中的参数值优化处理至少包含对参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数以及掩码参数的优化，使得目标神经网络模型能够提取出表征能力更强、更准确的业务特征，进而预测的得到准确度较高的信息预测结果。此外，压缩处理主要是对参数值低于阈值的掩码参数所对应的隐藏层神经元的删除，而掩码参数用于指示隐藏层神经元的重要程度，使得目标神经网络模型能够在保持优异的模型处理效果（如特征提取能力、信息预测准确度）的情况下，具备较小的模型体积与结构复杂度，不仅可以提升信息预测的效率，还能够实现高效且低成本的对目标业务进行部署。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种业务部署系统的结构示意图；
图2是本申请实施例提供的一种基于人工智能的信息预测方法的示意流程图；
图3是本申请实施例提供的又一种基于人工智能的信息预测方法的示意流程图；
图4是本申请实施例提供的一种参考神经网络模型的逻辑结构示意图；
图5是本申请实施例提供的一种参数优化原理的示意图；
图6是本申请实施例提供的一种基于人工智能的信息预测装置的结构示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
需要提前说明的是，为了使本技术领域的人员更好地理解本申请实施例所提出的技术方案，本申请实施例将结合一个或多个附图，来对本申请实施例所提出的技术方案的实现方式进行清楚、完整地描述。并且，本申请实施例所示出的各个附图仅为示例性说明，例如附图中各个步骤的执行顺序可以依据实际应用场景而做出适应性调整。
此外，在本申请实施例中，各附图内所示的方框图、模块和单元仅仅是功能实体，不一定必须与物理上独立的实体相对应，并且每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。也就是说，在本申请实施例中提及的术语“模块”或“单元”，是指有预定功能的计算机程序或计算机程序的一部分，其可以与其他相关部分一起工作以实现预定目标，还可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现，或者在不同网络和/或处理器装置和/或微控制器装置中实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。
本申请实施例主要基于人工智能技术提出了一种在目标业务下进行信息预测的技术方案，该方案在对业务数据进行特征提取及基于提取到的业务特征进行信息预测时采用的目标神经网络模型，是通过对参考神经网络模型进行参数值优化与压缩处理后得到的。其中，参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，参数值优化处理至少包含对各个隐藏层神经元关联的权重参数、偏置参数以及掩码参数的优化，以使优化后的参考神经网络模型能够提取出表征能力更强、更准确的业务特征。此外，掩码参数与隐藏层神经元之间是一一对应关系，并采用掩码参数指示隐藏层神经元在用于信息预测时的重要程度，进而通过删除优化后的参数值低于阈值的掩码参数所对应的隐藏层神经元来实现模型压缩，可以在减少对模型处理效果（如特征提取能力）的负面影响的情况下，降低模型参数的参数量及模型结构的复杂度，以此达到提升模型处理效率与降低目标业务的部署成本的目的。
其中，参考神经网络模型是基于人工神经网络（如Deep Neural Networks，DNN）构建得到的。人工神经网络可以用于反映人类大脑的行为，允许计算机程序基于训练数据学习识别模式，从而解决当前人工智能领域内的机器学习和深度学习方向的常见问题。也就是说，本申请实施例主要应用了人工智能技术领域内的机器学习（Machine Learning，ML）/深度学习技术。那么，为了便于理解，以下将对本申请实施例涉及的相关人工智能技术进行简要阐述。
首先，人工智能技术是计算机科学技术领域内的一个综合技术，主要用于研究各种智能机器的设计原理与实现方法。在机器中应用人工智能技术，可以使机器（如各类电子设备）具有感知、推理与决策的功能。具体地，人工智能技术可以利用数字计算机或者利用数字计算机控制的机器来模拟、延伸和扩展人的智能，使得数字计算机或相关机器能够感知环境、获取知识。也就是说，基于人工智能可以实现利用数字计算机或相关机器使用其学习到的知识来获得最佳结果的理论、方法、技术及应用系统。
在实际应用中，人工智能技术涉及的领域广泛，其既包括硬件层面的技术也包括软件层面的技术。其中，硬件层面的技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。软件层面的技术一般包括计算机视觉技术、语音处理技术、自然语言处理（Natural Language Processing，NLP）技术以及机器学习/深度学习技术等技术。
其中，机器学习（或深度学习）是一门用于研究如何采用计算机模拟或实现人类的学习行为的技术多领域交叉学科，其具体可以涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，以使得计算机可以基于机器学习技术不断获取新的知识或技能，并可以重新组织已有的知识结构使计算机可以不断改善自身的性能，从而达到更好的智能处理效果。在实际应用中，机器学习（或深度学习）还可以包括置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
通过利用深度学习技术构建出神经网络模型（如参考神经网络模型），以通过对该神经网络模型进行训练处理来实现目标业务下信息预测功能的开发，可以有效减少业务开发过程中的人为工作量，并提升信息预测业务的处理结果的准确度。另外，由于本申请实施例涉及的训练处理包含对模型中重要程度较低的隐藏层神经元的删除，因此可以通过控制模型体积（通常用参数量和/或神经元数量来衡量）来控制信息预测业务的部署成本，从而尽可能地避免由于模型过大而造成的业务部署成本较高的问题。
在一种实施方式中，本申请实施例提出的技术方案可以部署在包含终端设备和服务器的业务系统中，以由终端设备与服务器协同实现。具体地，终端设备可以向业务对象提供目标业务中的信息预测功能，并在检测到业务对象用于触发信息预测的人机交互操作后生成相应的信息预测请求，再将信息预测请求发送至服务器，以使服务器响应于该信息预测请求，调用目标神经网络模型执行信息预测，并将信息预测得到的信息预测结果反馈至该终端设备。其中，人机交互操作可以示例性地包含但不限于触屏交互、语音交互和动作交互（如手势交互）等方式。
作为示例，可以采用如图1的业务部署系统来对本申请实施例中的目标业务进行部署。如图1所示，该部署系统可以包含由101标记的一个或多个终端设备，以及由102标记的服务器。其中，每个终端设备可以对应至少一个业务对象，以向该业务对象提供信息预测业务。另外，目标神经网络模型可以部署在服务器中，且服务器可以与各个终端设备之间均存在有线或无线的通信连接，以在目标业务下调用目标神经网络模型为各个终端设备提供强大的数据处理能力。不难理解，通过此种实施方式可以将数据处理的负荷交由性能优异的服务器来执行，从而有利于减轻终端设备的处理负担，使得目标业务可以广泛应用于多种终端设备。
在另一种实施方式中，本申请实施例提出的技术方案也可以由终端设备独立执行。具体地，终端设备内可以运行用于提供目标业务的应用程序，以使得用户可以通过运行该应用程序来触发执行目标业务下的信息预测，并且该应用程序在实际用于执行信息预测时，是通过对部署在终端设备内的目标神经网络模型进行调用而实现的。由于目标神经网络模型是压缩处理后的神经网络模型，因而模型体积通常不会太大，因此可以部署在数据处理能力相对较弱的终端设备（与服务器相比）中，克服了当前众多人工智能业务难以独立在终端设备中实现的技术问题，并且，这种实施方式还可以避免终端设备与服务器之间频繁交互，从而节省一定的数据传输时间，最终可以提升信息预测的效率。
需要说明的是，前述提及的服务器可以具体包括但不限于独立的物理服务器，多个物理服务器构成的服务器集群或者分布式系统，以及提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content DeliveryNetwork，内容分发网络）、大数据和人工智能平台等基础云服务的云服务器等中的一种或多种。此外，前述提及的终端设备可以具体包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、车载终端、智能电视、游戏机、智能穿戴设备（如智能手环、智能手表）等，本申请实施例对采用的服务器与终端设备均不作具体限制。
为了便于描述以及对本申请实施例的各项技术手段进行清楚详尽地理解，以下统一以计算机设备执行本申请实施例为例进行阐述。可以理解，计算机设备可以是由多种设备组合而成的复合类型设备，如前述提及的业务系统或业务部署系统。或者，计算机设备可以是由单种设备（或单个设备）构成的单一类型设备，如前述提及的终端设备。
请参见图2，图2是本申请实施例提供的一种基于人工智能的信息预测方法的示意性流程图。具体地，图2示出的方法是基于上述技术方案而提出的，并且可以由上述提及的任一种计算机设备来执行。如图2所示，该方法可以包括步骤S201-S202：
S201、响应于目标业务下的信息预测请求，从信息预测请求中获取用于信息预测的业务数据。
在具体实施方式中，目标业务是指存在信息预测需求，且可以通过部署在计算机设备上来向业务对象提供信息预测功能的数据处理业务。目标业务下产生的业务数据存储在指定的存储空间中，而针对业务数据生成的信息预测请求可以携带该业务数据或该业务数据的存储地址，以使得计算机设备可以直接从信息预测请求中获取到业务数据，或者，通过基于信息预测请求中的存储地址加载业务数据的形式实现业务数据的获取。
S202、采用目标神经网络模型对业务数据进行特征提取，并基于提取到的业务数据特征执行信息预测，得到信息预测结果；其中，目标神经网络模型是通过对参考神经网络模型进行训练处理得到的，参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且掩码参数用于指示隐藏层神经元的重要程度，训练处理包括对参考神经网络模型中隐藏层的参数值优化处理与参数值优化处理后的压缩处理，参数值优化处理至少包含对各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，压缩处理是指删除参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元。
在具体实施例中，目标神经网络模型可以是训练处理后的参考神经网络模型，以简化目标神经网络模型的生成周期，从而在整体上加速目标业务的开发。可选地，目标神经网络模型也可以是基于其他处理模型与训练处理后的参考神经网络模型所包含的隐藏层进行模型组建而得到的，以综合利用不同模型中性能优异的网络层，从而得到信息预测能力较强的目标神经网络模型。
其中，参考神经网络模型中包括至少一个隐藏层，隐藏层用于提取在目标业务下对业务数据进行有效表达的特征向量。在具体实现时，隐藏层通常包含多个神经元，而为了便于与其他网络层（如输入层、输出层）的神经元区分开来，本申请实施例称隐藏层中的神经元为隐藏层神经元。具体地，隐藏层神经元用于基于其关联（或维护）的权重参数、偏置参数及掩码参数来基于上一个网络层的输出数据生成特征元素。并且一般情况下，在一次特征提取处理中，一个隐藏层神经元用于得到一个特征元素，而一个隐藏层中全部隐藏层神经元对应得到的特征元素即可构成该隐藏层对应提取到的业务数据特征。
另外，在实际应用场景下，隐藏层神经元维护的权重参数通常用于指示该隐藏层神经元所属的隐藏层的上一网络层中各个神经元的权重。那么，可以理解，本申请实施例中一个隐藏层神经元对应的权重参数本质上可以是权重矩阵。同理地，可以对偏置参数进行理解。但需要特别说明的是，掩码参数用于指示隐藏层神经元自身的重要程度，因此，一个隐藏层神经元维护的掩码参数通常为一个数值，一个隐藏层对应维护的掩码参数通常才为矩阵形式。
作为示例，掩码参数可以通过表达隐藏层神经元所提取到的特征元素在信息预测过程中展现出的参考价值，来指示该隐藏层神经元的重要程度。在此情况下，为了减小模型体积，同时维持模型处理能力，本申请实施例提出结合参数值优化处理与基于参数值优化后的掩码参数实现的压缩处理来对参考神经网络模型进行模型训练，以得到用于执行目标业务的目标神经网络模型。
其中，参数值优化处理至少包含各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，基于掩码参数实现的压缩处理则主要包含对参数值低于阈值的掩码参数所对应的隐藏层神经元的删除。
在具体实现中，为了提升压缩处理的准确度及适当减少压缩处理的频率，计算机设备可以基于参考神经网络模型当前对应的训练记录来确定是否在此次参数优化处理之后触发执行压缩处理。其中，训练记录用于指示当前的训练轮数和历史训练样本的数据量中的至少一条训练信息，且历史训练样本是指已用于对参考神经网络模型进行训练处理的训练样本。
具体地，计算机设备可以在训练记录指示的训练信息满足预设条件时触发执行压缩处理。其中，预设条件可以包括“数据量大于或等于预设数据量”，和/或，“训练轮数大于或等于预设轮数”。示例性地，预设数据量可以是一个完整的训练样本集的数据量，预设轮数可以是一个完整的训练样本集对应划分的样本子集的数量（也即，一个epoch对应的batch数量）。
另外，示例性地，本申请实施例中各个掩码参数对应的阈值可以相同，且该阈值可以是在训练记录满足预设条件之前，基于其中的M（M为正整数）轮参数优化后的各个掩码参数的参数值出现频率而确定的。例如，将出现频率较低且数值较小的参数值作为该阈值，以此可以避免在压缩处理时大规模的删除隐藏层神经元，从而在一定程度上确保模型处理能力。
不难理解，参数值优化处理可以使得目标神经网络模型能够预测出准确度较高的信息预测结果，而压缩处理可以使得目标神经网络模型的隐藏层结构相较于参考神经网络模型的隐藏层结构更为简单，从而具备更小的模型体积和复杂度，也就能够降低模型的部署成本和提升模型处理效率。
本申请实施例中，计算机设备在响应信息预测请求以执行信息预测时，采用的目标神经网络模型是对参考神经网络模型进行参数值优化处理与压缩处理得到的，由于其中的参数值优化处理至少包含对参考神经网络模型的隐藏层中各个神经元（或称隐藏层神经元）的权重参数、偏置参数以及掩码参数的优化，使得目标神经网络模型能够提取出表征能力更强、更准确的业务特征，进而预测的得到准确度较高的信息预测结果。此外，压缩处理主要是对参数值低于阈值的掩码参数所对应的隐藏层神经元的删除，而掩码参数用于指示隐藏层神经元的重要程度，使得目标神经网络模型能够在保持优异的模型处理效果（如特征提取能力、信息预测准确度）的情况下，具备较小的模型体积与结构复杂度，不仅可以提升信息预测的效率，还能够实现高效且低成本的对目标业务进行部署。
请参见图3，图3是本申请实施例基于图2所示的方法进一步所提供的一种基于人工智能的信息预测方法的示意性流程图，并在该方法中揭示了对参考网络神经模型进行训练处理的一种具体方式。需要说明的是，图3示出的方法可以继续由上述提及的计算机设备来执行，并且参考神经网络模型部署在该计算机设备中。
具体地，如图3所示，该方法可以包括步骤S301-S306：
S301、获取训练样本及训练样本的预期预测结果。
在具体实施例中，训练样本与业务数据是相同类型的数据。例如，业务数据包含图像数据时，训练样本也需要包含图像数据，以使得基于训练样本进行训练处理后的神经网络模型可以对业务数据准确地信息预测。训练样本的预期预测结果是指预先针对该训练样本生成（或选取）的、符合预期的信息预测准确度的信息预测结果。
另外，训练样本可以存储在云存储空间，且当对训练样本进行存储后，其在云存储空间中的存储位置可以被缓存在本地存储空间。其中，云存储空间是指利用云存储技术构建的存储空间，本地存储空间是指计算机设备内部的存储介质或存储器（如本地磁盘）所提供的存储空间。
在此情况下，计算机设备在获取训练样本时，可以先基于训练样本的样本描述信息预估对该训练样本进行加载时所需消耗的资源量，再参考该资源量来分配数据加载链路，可以使得数据加载链路的加载能力与该训练样本的加载需求相匹配，从而减轻资源浪费或加载缓慢的问题。
其中，训练样本的样本描述信息用于描述该训练样本的一项或多项属性，具体可以如数据量、数据类型、数据来源等。基于样本描述信息预估得到的资源量可以包含存储资源的资源量，也可以包含计算资源的资源量，还可以包含加载资源的资源量，此处不做限制。
具体来说，在一种实现方式中，计算机设备在获取训练样本时，可以先从本地存储空间中查询该训练样本在云存储空间中的存储位置，并在查询成功时，获取该训练样本的样本描述信息，以根据样本描述信息对该训练样本进行资源消耗量预估，得到加载该训练样本时所需消耗的资源量。然后，再从候选的各条数据加载链路中，选取当前空闲的资源量大于或等于预估出的资源量的目标数据加载链路，并采用目标数据加载链路从云存储空间的目标存储位置处加载该训练样本。
其中，目标存储位置是指针对训练样本从本地存储空间中查询到的存储位置。目标数据加载链路对应空闲的资源量与所需消耗的资源量之间的差值可以小于预设差值，以在保障数据加载效率的同时减轻对相关资源的浪费。另外，由于在现实生活中，计算机设备从云存储空间中确定数据存储路径（或存储位置）的复杂度通常较高，而从本地磁盘中确定数据存储路径的复杂度则一般较低。因此，通过将训练样本在云存储空间中的存储位置缓存至本地存储空间中，可以有效降低计算机设备在获取训练样本时对存储位置的查询复杂度，从而提升训练样本的获取速率。
S302、基于参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数及掩码参数，提取训练样本的训练特征。
在具体实施例中，在将参考神经网络模型用于提取训练样本的训练特征时，可以先基于各个隐藏层神经元关联的权重参数及偏置参数，提取训练样本的参考特征，再基于各个隐藏层神经元关联的掩码参数对参考特征进行特征值更新，以得到训练样本的训练特征。其中，参考神经网络模型的逻辑结构可以示例性的如图4所示。
基于图4可见，参考神经网络模型可以包括N（N为正整数）个隐藏层，且每个隐藏层均由一个常规隐藏层和一个激活掩码层组合而成。针对每个隐藏层，其中的常规隐藏层主要包含权重参数和偏置参数，以基于权重参数和偏置参数对上一个网络层（如输入层或上一隐藏层）的输出特征进行进一步特征处理（如特征嵌入、特征选择），从而得到训练样本在该隐藏层下对应的参考特征。
示例性地，参考特征的生成方式可如式1所示。在式1中，表示训练样本在第k个隐藏层下对应的参考特征，f( )为激活函数（此处不对使用的激活函数类型做具体限制），是第k个隐藏层对应的权重参数（通常为参数矩阵），是第k个隐藏层的上一层的输出特征（如训练样本在第k-1个隐藏层下对应的训练特征），是第k个隐藏层对应的偏置参数（通常为参数矩阵）。
式1
其中的激活掩码层则包含掩码参数，以通过在参考特征中融入该常规隐藏层包含的各个隐藏层神经元的重要程度的方式，来对参考特征的特征值进行更新，从而得到训练样本在该隐藏层下对应的训练特征。可以理解，一个掩码参数用于更新参考特征中的一个特征值（或称特征元素），该特征元素为该掩码参数对应的隐藏层神经元基于其关联的权重参数与偏置参数对相应输出特征进行处理得到的。
示例性地，训练特征的生成方式可如式2所示。在式2中，表示训练样本在第k个隐藏层下对应的训练特征，表示训练样本在第k个隐藏层下对应的参考特征，σ( )为sigmoid激活函数，σ()表示激活掩码，⊙表示哈达玛积，表示第k个隐藏层对应的掩码参数（通常为参数矩阵）。
式2
此外，如图4所示，参考神经网络模型还可以包括输入层及输出层。输入层可以用于对输入的训练样本进行向量化表示以得到特征向量，输出层可以用于基于训练特征预测该训练样本对应的信息预测结果（即模型预测结果），并输出该信息预测结果。
以下继续结合图4，对计算机设备基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数，提取训练样本的参考特征的一种实现方式进行详细阐述。具体地：
当i=1时，计算机设备可以先获取训练样本的输入特征，再基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数，对输入特征进行特征选择，以得到训练样本在第i个隐藏层下的参考特征。其中，输入特征是采用参考神经网络模型的输入层对训练样本进行向量化表示所得到的。
当1＜i≤N时，计算机设备可以先获取第i-1个隐藏层对应的训练特征，再基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数，对第i-1个隐藏层对应的训练特征进行特征选择，得到第i个隐藏层提取到的参考特征。其中，第i-1个隐藏层对应的训练特征是基于第i-1个隐藏层中各个隐藏层神经元关联的掩码参数，对在第i-1个隐藏层提取到的参考特征进行特征值更新后得到的。
S303、基于训练特征执行信息预测，得到训练样本的模型预测结果，并以减小模型预测结果与预期预测结果之间的差异为优化目标，对各个隐藏层神经元关联的权重参数、偏置参数及掩码参数进行参数值优化处理。
在具体实施例中，当参考神经网络模型包含N个隐藏层时，计算机设备可以基于第N个隐藏层对应的训练特征来执行信息预测，以得到模型预测结果，进而基于模型预测结果与预期预测结果之间的差异进行梯度反向传播，来对各个隐藏层神经元关联的权重参数、偏置参数及掩码参数进行优化更新，使参数优化后的模型能够用于预测出与预期预测结果更加相似的模型预测结果。也即，以减小模型预测结果与预期预测结果之间的差异为优化目标进行参数值优化。
作为示例，计算机设备可以按照如图5所示的参数优化原理对各个参数的参数值进行优化。在图5中，C表示损失函数，基于δ表示的变量可以理解为损失值，如δk表示第k个隐藏层（也即图5中的第k层）对应的损失值。基于α表示的变量可以理解为掩码参数，如αk,t-1表示第t-1次参数优化后第k个隐藏层中的掩码参数（此处具体可为参数矩阵）。基于W表示的变量可以理解为权重参数，如Wk表示第k个隐藏层中的权重参数（此处具体可为参数矩阵）。基于b表示变量可以理解为偏置参数，如bk,t-1表示第t-1次参数优化后第k个隐藏层中的偏置参数（此处具体可为参数矩阵）。基于a表示的变量可以理解为输出特征，如ak表示第k个隐藏层对应输出的数据特征（如训练特征）。
S304、基于各个隐藏层神经元关联的优化后的掩码参数，对参数值优化处理后的参考神经网络模型的隐藏层进行压缩处理，以得到目标神经网络模型。
在具体实施例中，计算机设备在进行压缩处理时，可以先基于各个隐藏层神经元关联的优化后的掩码参数，从参数值优化处理后的参考神经网络模型中确定出参数值低于阈值的掩码参数所对应的隐藏层神经元，进而在参数值优化处理后的参考神经网络模型中删除确定出的隐藏层神经元，以得到目标神经网络模型。
举例来说，假设参考神经网络模型中包含隐藏层神经元1至隐藏层神经元3，而在对各个隐藏层神经元对应的掩码参数进行参数值优化处理后，隐藏层神经元1对应的掩码参数的参数值低于阈值，则计算机设备将通过对隐藏层神经元1进行删除来进一步得到目标神经网络模型。可以理解，当前示例中，目标神经网络模型中包含的隐藏层神经元将为隐藏层神经元2与隐藏层神经元3。
其中，计算机设备可以对删除相应隐藏层神经元（即前述确定出的隐藏层神经元）后参考神经网络模型进行参数合并，来得到目标神经网络模型，以使得目标神经网络模型可以包含更少的模型参数，从而降低计算复杂度和计算量，最终提升模型处理的效率。
具体地，计算机设备可以先在删除相应隐藏层神经元后的参考神经网络模型中，获取该模型包含的每个隐藏层神经元在当前的掩码参数，进而确定每个隐藏层神经元所属的隐藏层的下一网络层，并将该隐藏层神经元关联的掩码参数与下一网络层中各个神经元的权重参数进行参数合并，来得到目标神经网络模型。其中，参数合并所得到的新的参数，即为该目标神经网络中的前述下一网络层中各个神经元的权重参数，并且目标神经网络模型中各个隐藏层神经元对应的参数将不再包含掩码参数。
为了便于对本申请实施例中参数合并的方式进行清楚详尽的理解，以下以第k个和第k+1个隐藏层为例，并结合式3至式6示出的原理对参数合并的一种方式进行详细说明。
其中，式3是通过对前述式1与式2进行合并得到的，主要用于表示训练样本在第k个隐藏层下对应的训练特征的计算方式，其中相关参数的定义可以参见前述相关内容，此处不再赘述。
式3
同理地，训练样本在第k+1个隐藏层下对应的训练特征的计算方式可以如式4，其中相关参数的定义可以类比参考式3的相关内容，此处不再赘述。
式4
将式4中的替换为式2的计算表达式，可以得到如式5所示的一种训练样本在第k+1个隐藏层下对应的训练特征的计算方式。
式5
将第k个隐藏层的掩码参数与第k+1个隐藏层的权重参数进行参数合并，可以得到第k+1个隐藏层的新权重参数，如式6中的。
式6
基于式3至式6的相关说明，不难看出，通过本申请实施例提出的训练处理方式，在参考神经网络模型的训练过程中添加掩码参数，不仅不会增加目标神经网络模型的参数数量，反而还可以降低模型计算复杂度，提升模型处理效率。
S305、响应于目标业务下的信息预测请求，从信息预测请求中获取用于信息预测的业务数据。
在具体实施例中，步骤S305的实施方式可以参见前述步骤S201的相关实施例，此处不再赘述。
S306、采用目标神经网络模型对业务数据进行特征提取，并基于提取到的业务数据特征执行信息预测，得到信息预测结果。
在具体实施例中，步骤S306的实施方式可以参见前述步骤S202的相关实施例，此处不再赘述。
本申请实施例中，计算机设备在模型训练过程中结合了参数优化和模型压缩，并具体通过在对参考神经网络模型进行参数值优化处理后，进一步基于优化后的掩码参数所指示的重要程度，删除优化后的参考神经网络模型中重要程度较低的隐藏层神经元来实现模型的压缩处理，不仅可以简化目标神经网络模型的生成过程，缩短生成周期，还可以提升模型的特征提取能力与信息预测能力，并且减小模型体积与结构复杂度，最终达到提升信息预测的效率并降低目标业务的部署成本的效果。此外，本申请实施例还在对参考神经网络模型的训练处理过程中采用了参数合并的方式，来进一步减小模型参数的参数量，从而使得通过对参考神经网络模型进行训练处理所得到的目标神经网络模型参数量更少，处理效率更高。
基于上述关于图2或图3所示的方法中的各项实施方式，不难看出，本申请实施例可以广泛应用于多种基于人工智能技术实现的业务场景。以下分别以图像处理业务与自然语言处理业务为例进行说明。
在一种实现方式中，当目标业务为图像处理业务时，目标业务下的信息预测可以是对图像所属的图像类别进行预测（或称：图像分类）、对图像蕴含的语义进行预测（或称：图像语义识别）、对多个图像结合后可得到的新图像进行预测（或称：图像合成）等。在此情况下，用于信息预测的业务数据可以是图像数据，如一张或多张图像。
当业务数据包含图像数据时，示例性地，参考神经网络模型可以是基于图神经网络（Graph Neural Networks，GNN）或卷积神经网络（Convolutional Neural Network，CNN）构建的。业务数据特征可以包含一个或多个表征维度下的图像特征。可选地，表征维度可以包含但不限于形状维度、颜色维度、空间位置维度及纹理维度等中的一种或多种。相应地，图像数据对应的业务数据特征则可以包含但不限于：用于表达图像数据中图像元素的形状的图像形状特征、用于表达图像数据中像素点的颜色分布的图像颜色分布特征、用于表达图像数据中各个图像元素的空间位置关系的元素空间位置特征，以及，用于表达图像纹理的图像纹理特征等中的一种或多种。
举例来说，当信息预测用于实现图像分类时，业务数据特征可以包含图像形状特征与图像颜色分布特征；当信息预测用于实现图像语义识别时，业务数据特征可以包含元素空间位置特征和/或图像纹理特征；当信息预测用于实现图像合成时，业务数据特征可以包含元素空间位置特征、图像颜色分布特征以及图像形状特征。
在又一种实现方式中，当目标业务为自然语言处理业务时，目标业务下的信息预测可以如语音识别（如：对可用于表达该语音内容的文本进行预测）、文本补全（如：预测某一个或多个文本词的上下文）、语义理解（如：预测语音内容或文本内容所表达的语义）、语音合成（如：预测采用某人说话的声音对某段文字进行朗读时的语音）、机器翻译（如：预测某一语言信息的另一种语言表达）、信息检索（如：预测用户可能感兴趣的业务信息）等。在此情况下，用于信息预测的业务数据可以包含语音数据与文本数据中的至少一种。
在此情况下，示例性地，参考神经网络模型可以是基于循环神经网络（RecurrentNeural Network，RNN），长短期记忆网络（Long Short Term Memory，LSTM），门控循环单元网络（Gate Recurrent Unit，GRU），卷积神经网络，及基于注意力机制的神经网络（如Transformer）等。另外，业务数据对应的业务数据特征可以包含词向量表达、上下文语义特征、情感特征、音素特征和响度特征等等，此处不做详述。
可见，本申请实施例可以广泛应用于多种基于神经网络模型进行业务处理的业务场景。在实际业务场景下，通过在对神经网络模型进行参数值优化处理后，进一步基于优化后的掩码参数所指示的重要程度，删除优化后的神经网络模型中重要程度较低的隐藏层神经元，可以实现神经网络模型的压缩，而在将压缩后的神经网络模型用于业务处理时，可以在保障该模型的特征提取能力与信息预测能力的情况下，减小模型体积与结构复杂度，从而提升信息预测的效率与降低目标业务的部署成本。
基于上述图2及图3所示的方法，本申请还公开了一种基于人工智能的信息预测装置，以用于执行如图2或图3中的各个步骤。其中，该装置可以是运行于计算机设备中的一个计算机程序（包括程序代码）。请参见图6，该装置可以至少包括图6中的请求响应单元601与信息预测单元602，其中：
请求响应单元601，用于响应于目标业务下的信息预测请求，从所述信息预测请求中获取用于信息预测的业务数据；
信息预测单元602，用于采用目标神经网络模型对所述业务数据进行特征提取，并基于提取到的业务数据特征执行所述信息预测，得到信息预测结果；
其中，所述目标神经网络模型是通过对参考神经网络模型进行训练处理得到的，所述参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且所述掩码参数用于指示所述隐藏层神经元的重要程度，所述训练处理包括对所述参考神经网络模型中隐藏层的参数值优化处理与所述参数值优化处理后的压缩处理，所述参数值优化处理至少包含对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，所述压缩处理是指删除所述参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元。
在一种实施方式中，本申请实施例提供的装置还可以包括模型训练单元603，该模型训练单元603可以用于执行：
获取训练样本及所述训练样本的预期预测结果；
基于所述参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数及掩码参数，提取所述训练样本的训练特征；
基于所述训练特征执行所述信息预测，得到所述训练样本的模型预测结果，并以减小所述模型预测结果与所述预期预测结果之间的差异为优化目标，对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数进行参数值优化处理；
基于所述各个隐藏层神经元关联的优化后的掩码参数，对参数值优化处理后的参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型。
在又一种实施方式中，模型训练单元603在用于基于所述参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数及掩码参数，提取所述训练样本的训练特征时，可以具体用于执行：
基于所述各个隐藏层神经元关联的权重参数及偏置参数，提取所述训练样本的参考特征；
基于所述各个隐藏层神经元关联的掩码参数对所述参考特征进行特征值更新，得到所述训练样本的训练特征；其中，一个隐藏层神经元关联的掩码参数用于更新所述参考特征中的一个特征值。
在又一种实施方式中，所述参考神经网络模型包含N个隐藏层，N为正整数；当1＜i≤N时，模型训练单元603在基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数提取所述训练样本的参考特征时，可以具体执行：
获取第i-1个隐藏层对应的训练特征；其中，所述第i-1个隐藏层对应的训练特征是基于所述第i-1个隐藏层中各个隐藏层神经元关联的掩码参数，对在所述第i-1个隐藏层提取到的参考特征进行特征值更新后得到的；
基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数，对所述第i-1个隐藏层对应的训练特征进行特征选择，得到所述第i个隐藏层提取到的参考特征。
在又一种实施方式中，在前述实施方式的基础上，信息预测单元602在基于所述训练特征执行所述信息预测，得到所述训练样本的模型预测结果时，可以具体用于执行：
基于第N个隐藏层对应的训练特征执行所述信息预测，得到所述训练样本的模型预测结果。
在又一种实施方式中，模型训练单元603在用于基于所述各个隐藏层神经元关联的优化后的掩码参数，对参数值优化处理后的参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型时，可以具体执行：
基于所述各个隐藏层神经元关联的优化后的掩码参数，从所述参数值优化处理后的参考神经网络模型中确定出参数值低于所述阈值的掩码参数所对应的隐藏层神经元；
在所述参数值优化处理后的参考神经网络模型中删除确定出的隐藏层神经元，以得到所述目标神经网络模型。
在又一种实施方式中，模型训练单元603在用于在所述参数值优化处理后的参考神经网络模型中删除确定出的隐藏层神经元，以得到所述目标神经网络模型时，可以具体执行：
获取删除所述确定出的隐藏层神经元后的参考神经网络模型中的每个隐藏层神经元当前的掩码参数；
针对所述每个隐藏层神经元，确定所述每个隐藏层神经元所属的隐藏层的下一网络层；
将所述每个隐藏层神经元关联的掩码参数与所述下一网络层中各个神经元的权重参数进行参数合并，得到所述目标神经网络模型；其中，参数合并后得到的参数为所述目标神经网络中所述下一网络层中各个神经元的权重参数。
在又一种实施方式中，模型训练单元603还可以用于执行：
获取所述参考神经网络模型对应的训练记录，所述训练记录用于指示训练轮数和历史训练样本的数据量中的至少一条训练信息，所述历史训练样本是指已用于对所述参考神经网络模型进行训练处理的训练样本；
当所述训练记录指示的训练信息满足预设条件时，触发执行所述基于所述各个隐藏层神经元关联的优化后的掩码参数，对所述参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型的步骤。
在又一种实施方式中，所述训练样本存储在云存储空间，所述训练样本在所述云存储空间中的存储位置被缓存于本地存储空间；模型训练单元603在获取训练样本时，可以具体执行：
从所述本地存储空间中查询所述训练样本在所述云存储空间中的存储位置；
若查询成功，则获取所述训练样本的样本描述信息，并根据所述样本描述信息对所述训练样本进行资源消耗量预估，得到加载所述训练样本时所需消耗的资源量；
从候选的各条数据加载链路中，选取当前空闲的资源量大于或等于预估出的资源量的目标数据加载链路，并采用所述目标数据加载链路从所述云存储空间的目标存储位置处加载所述训练样本，所述目标存储位置是指针对所述训练样本从所述本地存储空间中查询到的存储位置。
根据本申请的一个实施例，图6所示的基于人工智能的信息预测装置中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者，其中的某个（某些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请实施例的技术效果的实现。在本申请的其他实施例中，上述基于人工智能的信息预测装置也可以包括其他单元，在实际应用中，这些功能也可以由其他单元协助实现，并且可以由多个单元协助实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（Random Access Memory，RAM）、只读存储介质（Read-Only Memory，ROM）等处理元件和存储元件的例如计算机设备的通用计算设备上，运行能够执行如图2和图3所示的方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图6所示的基于人工智能的信息预测装置，以及来实现本申请实施例的基于人工智能的信息预测方法。计算机程序可以记载于例如存储介质上，并通过存储介质装载于上述计算机设备中，且可以在其中运行。
基于上述方法实施例以及装置实施例的相关描述，本申请实施例还提供了一种计算机设备，请参见图7。该计算机设备至少包括处理器701以及存储介质702，且处理器701以及存储介质702通过总线或其他方式连接。并且，处理器701可以加载并执行存储介质702中存放的一条或多条计算机程序，以实现上述有关图2以及图3所示的方法实施例中的相应方法步骤。
其中，上述提及的存储介质702是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储介质702既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。存储介质702提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的计算机程序，这些计算机程序可以是一个或一个以上的程序代码。
需要说明的是，上述存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储介质。处理器701（或称CPU（Central Processing Unit，中央处理器））是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行一条或多条计算机程序从而实现相应方法流程或相应功能。
另外，可选地，该计算机设备还可以与一个或多个目标输出设备703（如客户端、移动终端设备等）存在通信连接，并可以通过与目标输出设备703进行交互来实现对信息预测请求的触发和/或对信息预测结果的反馈。
本申请还提供了一种存储介质，该存储介质中存储了上述基于人工智能的信息预测方法对应的一条或多条计算机程序，当一个或多个处理器加载并执行该一条或多条计算机程序，可以实现实施例中对基于人工智能的信息预测方法的描述，在此不再赘述。
本申请实施例还提供了一种程序产品或计算机程序，该程序产品包括计算机程序，该计算机程序存储在存储介质中。计算机设备中的处理器从存储介质读取该计算机程序，然后执行该计算机程序，进而使得该计算机设备能够执行上述图2以及图3所示的基于人工智能的信息预测方法实施例方面的各种可选方式中提供的方法。
本领域普通技术人员可以理解实现上述各项实施例中的全部或部分流程，均可以通过计算机程序来指令相关的硬件来完成，其对应的技术效果可以参见前述关于图2及图3中的相关描述，此处对采用相同原理的各项实施例对应的技术效果不做赘述。
另外，可以理解的是，以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。
最后，需要特别强调的是，在将本申请中的各个实施例运用到具体产品或技术中时，需要在获得相关用户许可或者同意后才能进行数据采集，且相关数据的收集、使用和处理均需要遵守相关国家和地区的相关法律法规和标准。

Claims (13)

1.一种基于人工智能的信息预测方法，其特征在于，包括：
响应于目标业务下的信息预测请求，从所述信息预测请求中获取用于信息预测的业务数据；
采用目标神经网络模型对所述业务数据进行特征提取，并基于提取到的业务数据特征执行所述信息预测，得到信息预测结果；
其中，所述目标神经网络模型是通过对参考神经网络模型进行训练处理与所述训练处理后的参数合并得到的，所述参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且所述掩码参数用于指示所述隐藏层神经元的重要程度，所述训练处理的次数为多次，且每次训练处理包括对所述参考神经网络模型中隐藏层的参数值优化处理与所述参数值优化处理后的压缩处理，所述参数值优化处理至少包含对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，所述压缩处理是指删除所述参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元，所述阈值是基于M轮参数优化后的各个掩码参数的参数值出现频率而确定的，M为正整数；所述参数合并是指在删除相应隐藏层神经元后的参考神经网络模型中，将每个隐藏层神经元当前关联的掩码参数分别与其对应的下一网络层中各个神经元的权重参数进行合并，得到新的参数，以将所述新的参数作为所述目标神经网络模型的所述下一个网络层中各个神经元的权重参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本及所述训练样本的预期预测结果；
基于所述参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数及掩码参数，提取所述训练样本的训练特征；
基于所述训练特征执行所述信息预测，得到所述训练样本的模型预测结果，并以减小所述模型预测结果与所述预期预测结果之间的差异为优化目标，对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数进行参数值优化处理；
基于所述各个隐藏层神经元关联的优化后的掩码参数，对参数值优化处理后的参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述参考神经网络模型的隐藏层中各个隐藏层神经元关联的权重参数、偏置参数及掩码参数，提取所述训练样本的训练特征，包括：
基于所述各个隐藏层神经元关联的权重参数及偏置参数，提取所述训练样本的参考特征；
基于所述各个隐藏层神经元关联的掩码参数对所述参考特征进行特征值更新，得到所述训练样本的训练特征；其中，一个隐藏层神经元关联的掩码参数用于更新所述参考特征中的一个特征值。
4.根据权利要求3所述的方法，其特征在于，所述参考神经网络模型包含N个隐藏层，N为正整数；当1＜i≤N时，基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数提取所述训练样本的参考特征的方式包括：
获取第i-1个隐藏层对应的训练特征；其中，所述第i-1个隐藏层对应的训练特征是基于所述第i-1个隐藏层中各个隐藏层神经元关联的掩码参数，对在所述第i-1个隐藏层提取到的参考特征进行特征值更新后得到的；
基于第i个隐藏层中各个隐藏层神经元关联的权重参数及偏置参数，对所述第i-1个隐藏层对应的训练特征进行特征选择，得到所述第i个隐藏层提取到的参考特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练特征执行所述信息预测，得到所述训练样本的模型预测结果，包括：
基于第N个隐藏层对应的训练特征执行所述信息预测，得到所述训练样本的模型预测结果。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述基于所述各个隐藏层神经元关联的优化后的掩码参数，对参数值优化处理后的参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型，包括：
基于所述各个隐藏层神经元关联的优化后的掩码参数，从所述参数值优化处理后的参考神经网络模型中确定出参数值低于所述阈值的掩码参数所对应的隐藏层神经元；
在所述参数值优化处理后的参考神经网络模型中删除确定出的隐藏层神经元，以得到所述目标神经网络模型。
7.根据权利要求6所述的方法，其特征在于，得到所述目标神经网络模型的方式包括：
获取删除所述确定出的隐藏层神经元后的参考神经网络模型中的每个隐藏层神经元当前的掩码参数；
针对所述每个隐藏层神经元，确定所述每个隐藏层神经元所属的隐藏层的下一网络层；
将所述每个隐藏层神经元关联的掩码参数与所述下一网络层中各个神经元的权重参数进行参数合并，得到所述目标神经网络模型；其中，参数合并后得到的参数为所述目标神经网络中所述下一网络层中各个神经元的权重参数。
8.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
获取所述参考神经网络模型对应的训练记录，所述训练记录用于指示训练轮数和历史训练样本的数据量中的至少一条训练信息，所述历史训练样本是指已用于对所述参考神经网络模型进行训练处理的训练样本；
当所述训练记录指示的训练信息满足预设条件时，触发执行所述基于所述各个隐藏层神经元关联的优化后的掩码参数，对所述参考神经网络模型的隐藏层进行压缩处理，以得到所述目标神经网络模型的步骤。
9.根据权利要求2-5任一项所述的方法，其特征在于，所述训练样本存储在云存储空间，所述训练样本在所述云存储空间中的存储位置被缓存于本地存储空间；所述获取训练样本，包括：
从所述本地存储空间中查询所述训练样本在所述云存储空间中的存储位置；
若查询成功，则获取所述训练样本的样本描述信息，并根据所述样本描述信息对所述训练样本进行资源消耗量预估，得到加载所述训练样本时所需消耗的资源量；
从候选的各条数据加载链路中，选取当前空闲的资源量大于或等于预估出的资源量的目标数据加载链路，并采用所述目标数据加载链路从所述云存储空间的目标存储位置处加载所述训练样本，所述目标存储位置是指针对所述训练样本从所述本地存储空间中查询到的存储位置。
10.一种基于人工智能的信息预测装置，其特征在于，包括：
请求响应单元，用于响应于目标业务下的信息预测请求，从所述信息预测请求中获取用于信息预测的业务数据；
信息预测单元，用于采用目标神经网络模型对所述业务数据进行特征提取，并基于提取到的业务数据特征执行所述信息预测，得到信息预测结果；
其中，所述目标神经网络模型是通过对参考神经网络模型进行训练处理与所述训练处理后的参数合并得到的，所述参考神经网络模型中隐藏层所包含的各个隐藏层神经元关联有权重参数、偏置参数及掩码参数，且所述掩码参数用于指示所述隐藏层神经元的重要程度，所述训练处理的次数为多次，且每次训练处理包括对所述参考神经网络模型中隐藏层的参数值优化处理与所述参数值优化处理后的压缩处理，所述参数值优化处理至少包含对所述各个隐藏层神经元关联的权重参数、偏置参数及掩码参数的优化，所述压缩处理是指删除所述参考神经网络模型的隐藏层中参数值低于阈值的掩码参数所对应的隐藏层神经元，所述阈值是基于M轮参数优化后的各个掩码参数的参数值出现频率而确定的，M为正整数；所述参数合并是指在删除相应隐藏层神经元后的参考神经网络模型中，将每个隐藏层神经元当前关联的掩码参数分别与其对应的下一网络层中各个神经元的权重参数进行合并，得到新的参数，以将所述新的参数作为所述目标神经网络模型的所述下一个网络层中各个神经元的权重参数。
11.一种计算机设备，其特征在于，包括：
处理器，所述处理器适于实现一条或多条计算机程序；
存储介质，所述存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-9任一项所述的基于人工智能的信息预测方法。
12.一种存储介质，其特征在于，所述存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-9任一项所述的基于人工智能的信息预测方法。
13.一种程序产品，所述程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1-9任一项所述的基于人工智能的信息预测方法。
CN202410426655.9A 2024-04-10 2024-04-10 基于人工智能的信息预测方法、相关设备及存储介质 Active CN118013132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410426655.9A CN118013132B (zh) 2024-04-10 2024-04-10 基于人工智能的信息预测方法、相关设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410426655.9A CN118013132B (zh) 2024-04-10 2024-04-10 基于人工智能的信息预测方法、相关设备及存储介质

Publications (2)

Publication Number Publication Date
CN118013132A CN118013132A (zh) 2024-05-10
CN118013132B true CN118013132B (zh) 2024-12-27

Family

ID=90956589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410426655.9A Active CN118013132B (zh) 2024-04-10 2024-04-10 基于人工智能的信息预测方法、相关设备及存储介质

Country Status (1)

Country Link
CN (1) CN118013132B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN116996409A (zh) * 2022-10-19 2023-11-03 腾讯科技（深圳）有限公司 数据传输方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019213459A1 (de) * 2019-09-04 2021-03-04 Volkswagen Aktiengesellschaft Verfahren zum Komprimieren eines Neuronalen Netzes
CN113673697A (zh) * 2021-08-24 2021-11-19 平安科技（深圳）有限公司 基于相邻卷积的模型剪枝方法、装置及存储介质
CN115358384A (zh) * 2022-07-21 2022-11-18 嬴彻星创智能科技(上海)有限公司 一种神经网络的剪枝方法及装置
CN117035041A (zh) * 2023-08-21 2023-11-10 亿咖通(湖北)技术有限公司 模型处理方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN116996409A (zh) * 2022-10-19 2023-11-03 腾讯科技（深圳）有限公司 数据传输方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN118013132A (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
WO2022068623A1 (zh) 一种模型训练方法及相关设备
CN109891897B (zh) 用于分析媒体内容的方法
US11704570B2 (en) Learning device, learning system, and learning method
JP2021521505A (ja) 包括的機械学習サービスを提供するアプリケーション開発プラットフォームおよびソフトウェア開発キット
CN116415654A (zh) 一种数据处理方法及相关设备
CN111352965A (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN113033212B (zh) 文本数据处理方法及装置
KR20220098991A (ko) 음성 신호에 기반한 감정 인식 장치 및 방법
WO2024067373A1 (zh) 一种数据处理方法及相关装置
KR20240034804A (ko) 자동 회귀 언어 모델 신경망을 사용하여 출력 시퀀스 평가
WO2024213099A1 (zh) 一种数据处理方法及其装置
US20230108177A1 (en) Hardware-Aware Progressive Training Of Machine Learning Models
WO2024175079A1 (zh) 一种模型的量化方法以及相关设备
WO2024109907A1 (zh) 一种量化方法、推荐方法以及装置
CN118013132B (zh) 基于人工智能的信息预测方法、相关设备及存储介质
CN117636457A (zh) 知识蒸馏方法和电子设备
CN116486193A (zh) 基于内容感知及自蒸馏结构的自监督算法训练方法和装置
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN115905680A (zh) 一种推荐方法及相关装置
CN113570043A (zh) 信贷风险预测模型训练方法及装置
CN114662568A (zh) 数据分类方法、装置、设备和存储介质
CN118094233B (zh) 内容处理模型集成方法以及相关设备
CN118828145B (zh) 一种视频摘要生成方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant