Nothing Special   »   [go: up one dir, main page]

CN112052957B - 深度学习模型的可解释性参数获取方法及装置 - Google Patents

深度学习模型的可解释性参数获取方法及装置 Download PDF

Info

Publication number
CN112052957B
CN112052957B CN202010912290.2A CN202010912290A CN112052957B CN 112052957 B CN112052957 B CN 112052957B CN 202010912290 A CN202010912290 A CN 202010912290A CN 112052957 B CN112052957 B CN 112052957B
Authority
CN
China
Prior art keywords
hidden layer
unit
hidden
layer
output result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010912290.2A
Other languages
English (en)
Other versions
CN112052957A (zh
Inventor
许正卓
杨海钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010912290.2A priority Critical patent/CN112052957B/zh
Publication of CN112052957A publication Critical patent/CN112052957A/zh
Priority to PCT/CN2021/091304 priority patent/WO2022048172A1/zh
Application granted granted Critical
Publication of CN112052957B publication Critical patent/CN112052957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质，涉及人工智能技术，包括将测试图片对应的像素矩阵输入至连接主义机器学习模型进行运算，得到输出结果及各个隐层单元的单元输出结果；获取最后一层隐层中单元输出结果为最大值的目标隐层单元，以根据其与相关性算法，计算各隐层单元的隐层单元相关性值；以各层隐层中隐层单元相关性值为最大值的隐层单元以组成当前目标隐层单元清单；根据输出结果与输出结果调节值求和得到当前输出结果；将当前输出结果作为扰动输出值获取所述隐藏层中各个隐层单元对应的单元扰动值；之后进行升序排序得到隐层单元排序结果。实现了对深度学习模型的可解释性参数的准确和可视化获取。

Description

深度学习模型的可解释性参数获取方法及装置
技术领域
本发明涉及人工智能的模型托管技术领域，尤其涉及一种深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质。
背景技术
随着深度学习的发展，各类模型的性能表现越来越好，在各个领域都有突破性的进展。然而，大多数的深度学习模型依旧处于无法解释的黑盒状态，影响了模型在某些敏感领域的部署。为了解决这一难题，目前常见的方法是使用可视化的敏感性分析和相关度分析传递。由于敏感性分析和相关度分析的自身机制的限制，可视化的结果上无法体现不同的网络层之间的关系，因而无法揭示神经网络模型层与层之间的运作机制。
发明内容
本发明实施例提供了一种深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质，旨在解决现有技术中深度学习模型使用可视化的敏感性分析和相关度分析传递，由于自身机制的限制，可视化的结果上无法体现不同的网络层之间的关系的问题。
第一方面，本发明实施例提供了一种深度学习模型的可解释性参数获取方法，其包括：
获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；
调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；
获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值；
获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单；
调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果；
根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值；以及
将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
第二方面，本发明实施例提供了一种深度学习模型的可解释性参数获取装置，其包括：
机器学习模型获取单元，用于获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；
测试图片输入单元，用于调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；
相关性值获取单元，用于获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值；
目标隐层单元获取单元，用于获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单；
扰动值加入单元，用于调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果；
单元扰动值获取单元，用于根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值；以及
扰动值排序单元，用于将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的深度学习模型的可解释性参数获取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的深度学习模型的可解释性参数获取方法。
本发明实施例提供了一种深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质，包括将测试图片对应的像素矩阵输入至连接主义机器学习模型进行运算，得到输出结果及各个隐层单元的单元输出结果；获取最后一层隐层中单元输出结果为最大值的目标隐层单元，以根据其与相关性算法，计算各隐层单元的隐层单元相关性值；以各层隐层中隐层单元相关性值为最大值的隐层单元以组成当前目标隐层单元清单；根据输出结果与输出结果调节值求和得到当前输出结果；将当前输出结果作为扰动输出值获取所述隐藏层中各个隐层单元对应的单元扰动值；之后进行升序排序得到隐层单元排序结果。实现了对深度学习模型的可解释性参数的准确和可视化获取。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的深度学习模型的可解释性参数获取方法的应用场景示意图；
图2为本发明实施例提供的深度学习模型的可解释性参数获取方法的流程示意图；
图3为本发明实施例提供的深度学习模型的可解释性参数获取方法中连接主义机器学习模型的模型结构示意图；
图4为本发明实施例提供的深度学习模型的可解释性参数获取装置的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的深度学习模型的可解释性参数获取方法的应用场景示意图；图2为本发明实施例提供的深度学习模型的可解释性参数获取方法的流程示意图，该深度学习模型的可解释性参数获取方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110~S170。
S110、获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系。
在本实施例中，所述连接主义机器学习模型在具体实施时是图像分类模型，如VGG、MLP、LSTM等图像分类模型，这些模型的共同点是均包括输入层、隐藏层和输出层。图像分类模型在通过标注图片类别的图像集训练完成后，可以对新的测试图像预测所属类别，例如该测试图像所属类别是人物、动物或是植物等类别。
所述连接主义机器学习模型的训练过程可以是在服务器中完成，在服务器中通过训练集完成对连接主义机器学习模型的训练，这样所述连接主义机器学习模型中隐藏层中各隐层单元的权重参数、偏置参数、以及与其他隐层单元的连接关系在完成训练后，都是已知的。
S120、调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合。
在本实施例中，由于已完成训练的连接主义机器学习模型是通过图片训练集（例如ImageNet图像数据集）完成模型训练的，为了保证模型的泛化性，此时不再选取图片训练集中的图片，而是选择与图片训练集相对应的图片测试集，从中任意挑选一张测试图片。通过将其中一张测试图片对应的像素矩阵输入至所述连接主义机器学习模型进行运算，即可得到输出结果。更具体的，是还可以计算得到所述连接主义机器学习模型中隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合。
在一实施例中，所述连接主义机器学习模型为多层感知机。
其中，多层感知机也能理解为全连接神经网络，该多层感知机包括输入层、隐藏层和输出层，且多层感知机层与层之间是全连接的（全连接的含义是上一层的任何一个神经元与下一层的所有神经元都有连接）。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。具体实施时，所述连接主义机器学习模型还可以是上述列举的VGG、LSTM等图像分类模型，只要该连接主义机器学习模型包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系即可，并未局限于使用多层感知机。
在一实施例中，步骤S120包括：
获取所述测试图片对应的N*M大小的像素矩阵，将所述像素矩阵记为输入X；其中，N表示所述测试图片的横向方向像素点的第一总个数，M表示所述测试图片的纵向方向像素点的第二总个数，M和N均为正整数；
将输入X输入至所述多层感知机的第一层隐层，根据所述第一层隐层中各个隐层单元的权重参数、偏置参数及输入X，计算得到第一层隐层中各隐层单元的输出；
若所述隐层对应的总层数大于2，根据第一层隐层中各隐层单元的输出、各隐层单元的权重参数和偏置参数依序获取下一层隐层中各隐层单元的输出，直至获取到多层感知机中最后一层隐层中各隐层单元的输出；
根据所述多层感知机中最后一层隐层中各隐层单元的输出，以及最后一层隐层中各隐层单元的权重参数和偏置参数，计算得到所述多层感知机的输出层的输出结果。
在本实施例中，请参考如图3所示模型结构对应的多层感知机，可以先在图片测试集中获取一个测试图片，其对应的像素矩阵对应N*M个像素点（其中，N表示所述测试图片的横向方向像素点的第一总个数，M表示所述测试图片的纵向方向像素点的第二总个数，M和N均为正整数），将测试图片的像素矩阵记为输入X，此时在计算输出层的输出结果时是先计算隐藏层中第一层隐层各隐层单元的单元输出（如图3中第一层隐层中1-3号隐层单元），之后再计算第二层隐层各单元的单元输出（如图3中第一层隐层中4-6号隐层单元）且在计算第二层隐层各单元的单元输出时要结合中第一层隐层各应层单元的单元输出和各个隐层单元的权重参数及偏置参数，以此类推，直至计算出所述多层感知机中最后一层隐层中各隐层单元的输出（如图3中第一层隐层中7-8号隐层单元）。
在获取了所述多层感知机中最后一层隐层中各隐层单元的输出后，即可根据最后一层隐层中各隐层单元的权重参数和偏置参数，计算得到所述多层感知机的输出层的输出结果。通过这种逐层计算的方式，使得计算结果更加准确。
S130、获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值。
在本实施例中，为了分析所述述连接主义机器学习模型中隐藏层内每一层隐层内各隐层单元的关联性，此时可以采用相关性反向传递的特性，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值。
在一实施例中，步骤S130包括：
获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果与输出结果相同的目标单元输出结果，以及获取与所述目标单元输出结果对应的目标隐层单元；
将所述目标隐层单元的单元相关性值设置为1，根据所述相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在本实施例中，先获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果与输出结果相同的目标单元输出结果。例如，图3中7号隐层单元的单元输出结果与所述输出结果相同，则可以将7号隐层单元选定为目标隐层单元。当选定了图3中7号隐层单元作为目标隐层单元，此时可以设置其对应的单元相关性值设置为1，那么8号隐层单元对应的单元相关性值为0。
此时可以调用本地存储的相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在一实施例中，所述相关性算法为：所述相关性算法为：
其中，Rj→i表示由j号隐层单元方向传导到i号隐层单元时i号隐层单元的隐层单元相关性值，Zi表示i号隐层单元的单元输出结果，Zj表示j号隐层单元的单元输出结果，Wij表示i号隐层单元传播到j号隐层单元对应的权重参数，ε表示一个预设的极小值，sign（Zj）是一个符号函数，Rj表示j号隐层单元的隐层单元相关性值；
所述根据所述相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值，包括：
按所述隐藏层的隐层倒序方向根据所述相关性算法进行后向计算，得到隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在本实施例中，例如图3中1号隐层单元、2号隐层单元和3号隐层单元组成第一层隐层；4号隐层单元、5号隐层单元和6号隐层单元组成第二层隐层；7号隐层单元和8号隐层单元组成第三层隐层，且第三层隐层为隐藏层中最后一层隐层，隐藏层中最后一层隐层之外的其他隐层则是第一层隐层和第二层隐层。在已知了7号隐层单元的单元相关性值设置为1后，可以分别计算得到1号隐层单元-6号隐层单元对应的隐层单元相关性值。
其中，1号隐层单元-3号隐层单元对应的隐层单元相关性值之和等于1，4号隐层单元-6号隐层单元对应的隐层单元相关性值之和等于1，7号隐层单元-8号隐层单元对应的隐层单元相关性值之和等于1，也就是相关性在每一层的和是相等的。
再以5号隐层单元为例，任何一个单元的相关性，等于它向后连接的单元传播的相关性之和，即，也即5号隐层单元与1-3号隐层单元的相关性值均有关系。此时通过后向计算，得到隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值后，即可根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元。
S140、获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单。
在本实施例中，在获取了每一隐层内各个隐层单元的隐层单元相关性值后，即可判断出任意一个隐层内哪一个隐层单元对应的隐层单元相关性值是该隐层中的最大相关性值，该隐层中的最大相关性值对应的隐层单元则是该隐层中最重要的隐层单元。
S150、调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果。
在本实施例中，为了测试对输出结果加上一个预先设定的变化值（即输出结果调节值）后，隐藏层中各个隐层单元需要分别对应增加的扰动值，此时可以增加一个极小的输出结果调节值。通过增加一个输出结果调节值，可以测试出隐藏层中各个隐层单元中比较重要的几个隐层单元。
S160、根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值。
在本实施例中，当在输出结果加上一个极小的输出结果调节值，若将输出层的输出记为f(x)。此时为了获取每一层隐层单元需要增加的扰动值εl（其中，l表示隐藏层中的第l层隐层，例如l=1时表示图1中的第1层隐层中1号隐层单元-3号隐层单元），此时在计算第l层隐层增加的扰动值εl时，参考下述公式（1）：/>
在计算了每一层隐层的扰动值，还可以根据各隐层单元的原始单元出书结果、权重参数、偏置参数计算出所述隐藏层中各个隐层单元对应的单元扰动值。
在一实施例中，步骤S160包括：
根据所述当前输出结果及所述隐藏层中最后一层隐层中各隐层单元的权重参数和偏置参数，计算所述隐藏层中最后一层隐层对应的最后一层扰动值，并得到最后一层隐层中各个隐层单元对应的单元扰动值；
按所述隐藏层的隐层倒序方向根据所述最后一层扰动值，依序计算隐藏层中最后一层隐层之外的其他隐层中各个隐层单元对应的单元扰动值。
在本实施例中，在计算隐藏层中各个隐层单元对应的单元扰动值时，也是参考步骤S130中的后向计算方式，从最后一层隐层依序向前倒推计算隐藏层中各个隐层单元对应的单元扰动值。在计算了各个隐层单元对应的单元扰动值，即可根据各个隐层单元对应的单元扰动值分析出较重要的隐层单元。其中，各个隐层单元对应的单元扰动值越大，表示该隐层单元对输出结果的影响越小。
S170、将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
在本实施例中，当将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果，其中单元扰动值越小的隐层对输出结果的影响越大。更具体的，隐层单元排序结果中排名前3位的单元扰动值分别对应的隐层可以选做为候选隐层单元，以加入当前目标隐层清单。当前目标隐层清单中的各个隐层则是对输出结果的影响大的3个隐层。
由于获知了当前目标隐层单元清单和隐层单元排序结果，即可根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元，还可根据隐层单元排序结果获取对输出结果的影响大的隐层单元，这样实现了对深度学习模型的可解释性参数获取。
在一实施例中，步骤S170之后还包括：
根据所述当前目标隐层单元清单和所述隐层单元排序结果，生成与所述连接主义机器学习模型对应的模型可解释性信息，将所述模型可解释性信息发送至目标终端。
在本实施例中，当获取了所述当前目标隐层单元清单和所述隐层单元排序结果，可以调用预先存储的模型关键参数展示报告模板，将所述当前目标隐层单元清单和所述隐层单元排序结果填充至模型关键参数展示报告模板后，生成一个模型可解释性信息。
通过服务器将这一模型可解释性信息发送目标终端（该目标终端是该连接主义机器学习模型的模型维护人员）后，模型维护人员可以参考所述模型可解释性信息获知该连接主义机器学习模型的隐藏层中的重要隐层单元和重要隐层，从而确定是否调整该连接主义机器学习模型的隐藏层结构（例如删除一些不太重要的隐层单元）。通过这一方式，实现了对连接主义机器学习模型的重要隐藏层单元的可视性解释。
在一实施例中，所述根据所述当前目标隐层单元清单和所述隐层单元排序结果，生成与所述连接主义机器学习模型对应的模型可解释性信息，将所述模型可解释性信息发送至目标终端的步骤之后，还包括：
将所述连接主义机器学习模型的模型参数集及所述模型可解释性信息上传至区块链网络。
在本实施例中，服务器可以作为一个区块链节点设备，将所述连接主义机器学习模型的模型参数集（模型参数集至少包括各个隐层单元的权重参数、偏置参数）及所述模型可解释性信息上传至区块链网络，充分利用区块链数据不可篡改的特性，实现重要模型参数和模型可解释性信息的固化存储。
其中，基于所述连接主义机器学习模型的模型参数集及所述模型可解释性信息得到对应的摘要信息，具体来说，摘要信息由所述连接主义机器学习模型的模型参数集及所述模型可解释性信息进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述连接主义机器学习模型的模型参数集及所述模型可解释性信息是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该方法实现了根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元，还可根据隐层单元排序结果获取对输出结果的影响大的隐层单元，对深度学习模型的可解释性参数进行了准确和可视化的获取。
本发明实施例还提供一种深度学习模型的可解释性参数获取装置，该深度学习模型的可解释性参数获取装置用于执行前述深度学习模型的可解释性参数获取方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的深度学习模型的可解释性参数获取装置的示意性框图。该深度学习模型的可解释性参数获取装置100可以配置于服务器中。
如图4所示，深度学习模型的可解释性参数获取装置100包括：机器学习模型获取单元110、测试图片输入单元120、相关性值获取单元130、目标隐层单元获取单元140、扰动值加入单元150、单元扰动值获取单元160、扰动值排序单元170。
机器学习模型获取单元110，用于获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系。
在本实施例中，所述连接主义机器学习模型在具体实施时是图像分类模型，如VGG、MLP、LSTM等图像分类模型，这些模型的共同点是均包括输入层、隐藏层和输出层。图像分类模型在通过标注图片类别的图像集训练完成后，可以对新的测试图像预测所属类别，例如该测试图像所属类别是人物、动物或是植物等类别。
所述连接主义机器学习模型的训练过程可以是在服务器中完成，在服务器中通过训练集完成对连接主义机器学习模型的训练，这样所述连接主义机器学习模型中隐藏层中各隐层单元的权重参数、偏置参数、以及与其他隐层单元的连接关系在完成训练后，都是已知的。
测试图片输入单元120，用于调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合。
在本实施例中，由于已完成训练的连接主义机器学习模型是通过图片训练集（例如ImageNet图像数据集）完成模型训练的，为了保证模型的泛化性，此时不再选取图片训练集中的图片，而是选择与图片训练集相对应的图片测试集，从中任意挑选一张测试图片。通过将其中一张测试图片对应的像素矩阵输入至所述连接主义机器学习模型进行运算，即可得到输出结果。更具体的，是还可以计算得到所述连接主义机器学习模型中隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合。
在一实施例中，所述连接主义机器学习模型为多层感知机。
其中，多层感知机也能理解为全连接神经网络，该多层感知机包括输入层、隐藏层和输出层，且多层感知机层与层之间是全连接的（全连接的含义是上一层的任何一个神经元与下一层的所有神经元都有连接）。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。具体实施时，所述连接主义机器学习模型还可以是上述列举的VGG、LSTM等图像分类模型，只要该连接主义机器学习模型包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系即可，并未局限于使用多层感知机。
在一实施例中，测试图片输入单元120包括：
像素矩阵获取单元，用于获取所述测试图片对应的N*M大小的像素矩阵，将所述像素矩阵记为输入X；其中，N表示所述测试图片的横向方向像素点的第一总个数，M表示所述测试图片的纵向方向像素点的第二总个数，M和N均为正整数；
第一层隐层输出计算单元，用于将输入X输入至所述多层感知机的第一层隐层，根据所述第一层隐层中各个隐层单元的权重参数、偏置参数及输入X，计算得到第一层隐层中各隐层单元的输出；
其他隐层输出计算单元，用于若所述隐层对应的总层数大于2，根据第一层隐层中各隐层单元的输出、各隐层单元的权重参数和偏置参数依序获取下一层隐层中各隐层单元的输出，直至获取到多层感知机中最后一层隐层中各隐层单元的输出；
输出结果计算单元，用于根据所述多层感知机中最后一层隐层中各隐层单元的输出，以及最后一层隐层中各隐层单元的权重参数和偏置参数，计算得到所述多层感知机的输出层的输出结果。
在本实施例中，请参考如图3所示模型结构对应的多层感知机，可以先在图片测试集中获取一个测试图片，其对应的像素矩阵对应N*M个像素点（其中，N表示所述测试图片的横向方向像素点的第一总个数，M表示所述测试图片的纵向方向像素点的第二总个数，M和N均为正整数），将测试图片的像素矩阵记为输入X，此时在计算输出层的输出结果时是先计算隐藏层中第一层隐层各隐层单元的单元输出（如图3中第一层隐层中1-3号隐层单元），之后再计算第二层隐层各单元的单元输出（如图3中第一层隐层中4-6号隐层单元）且在计算第二层隐层各单元的单元输出时要结合中第一层隐层各应层单元的单元输出和各个隐层单元的权重参数及偏置参数，以此类推，直至计算出所述多层感知机中最后一层隐层中各隐层单元的输出（如图3中第一层隐层中7-8号隐层单元）。
在获取了所述多层感知机中最后一层隐层中各隐层单元的输出后，即可根据最后一层隐层中各隐层单元的权重参数和偏置参数，计算得到所述多层感知机的输出层的输出结果。通过这种逐层计算的方式，使得计算结果更加准确。
相关性值获取单元130，用于获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值。
在本实施例中，为了分析所述述连接主义机器学习模型中隐藏层内每一层隐层内各隐层单元的关联性，此时可以采用相关性反向传递的特性，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值。
在一实施例中，相关性值获取单元130包括：
目标单元输出结果获取单元，用于获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果与输出结果相同的目标单元输出结果，以及获取与所述目标单元输出结果对应的目标隐层单元；
第一后向计算单元，用于将所述目标隐层单元的单元相关性值设置为1，根据所述相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在本实施例中，先获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果与输出结果相同的目标单元输出结果。例如，图3中7号隐层单元的单元输出结果与所述输出结果相同，则可以将7号隐层单元选定为目标隐层单元。当选定了图3中7号隐层单元作为目标隐层单元，此时可以设置其对应的单元相关性值设置为1，那么8号隐层单元对应的单元相关性值为0。
此时可以调用本地存储的相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在一实施例中，所述相关性算法为：
其中，Rj→i表示由j号隐层单元方向传导到i号隐层单元时i号隐层单元的隐层单元相关性值，Zi表示i号隐层单元的单元输出结果，Zj表示j号隐层单元的单元输出结果，Wij表示i号隐层单元传播到j号隐层单元对应的权重参数，ε表示一个预设的极小值，sign（Zj）是一个符号函数，Rj表示j号隐层单元的隐层单元相关性值；
所述第一后向计算单元还用于：
按所述隐藏层的隐层倒序方向根据所述相关性算法进行后向计算，得到隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
在本实施例中，例如图3中1号隐层单元、2号隐层单元和3号隐层单元组成第一层隐层；4号隐层单元、5号隐层单元和6号隐层单元组成第二层隐层；7号隐层单元和8号隐层单元组成第三层隐层，且第三层隐层为隐藏层中最后一层隐层，隐藏层中最后一层隐层之外的其他隐层则是第一层隐层和第二层隐层。在已知了7号隐层单元的单元相关性值设置为1后，可以分别计算得到1号隐层单元-6号隐层单元对应的隐层单元相关性值。
其中，1号隐层单元-3号隐层单元对应的隐层单元相关性值之和等于1，4号隐层单元-6号隐层单元对应的隐层单元相关性值之和等于1，7号隐层单元-8号隐层单元对应的隐层单元相关性值之和等于1，也就是相关性在每一层的和是相等的。
再以5号隐层单元为例，任何一个单元的相关性，等于它向后连接的单元传播的相关性之和，即，也即5号隐层单元与1-3号隐层单元的相关性值均有关系。此时通过后向计算，得到隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值后，即可根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元。
目标隐层单元获取单元140，用于获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单。
在本实施例中，在获取了每一隐层内各个隐层单元的隐层单元相关性值后，即可判断出任意一个隐层内哪一个隐层单元对应的隐层单元相关性值是该隐层中的最大相关性值，该隐层中的最大相关性值对应的隐层单元则是该隐层中最重要的隐层单元。
扰动值加入单元150，用于调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果。
在本实施例中，为了测试对输出结果加上一个预先设定的变化值（即输出结果调节值）后，隐藏层中各个隐层单元需要分别对应增加的扰动值，此时可以增加一个极小的输出结果调节值。通过增加一个输出结果调节值，可以测试出隐藏层中各个隐层单元中比较重要的几个隐层单元。
单元扰动值获取单元160，用于根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值。
在本实施例中，当在输出结果加上一个极小的输出结果调节值δ，若将输出层的输出记为f(x)。此时为了获取每一层隐层单元需要增加的扰动值εl（其中，l表示隐藏层中的第l层隐层，例如l=1时表示图1中的第1层隐层中1号隐层单元-3号隐层单元），此时在计算第l层隐层增加的扰动值εl时，参考上述公式（1）。在计算了每一层隐层的扰动值，还可以根据各隐层单元的原始单元出书结果、权重参数、偏置参数计算出所述隐藏层中各个隐层单元对应的单元扰动值。
在一实施例中，单元扰动值获取单元160包括：
最后一层扰动值计算单元，用于根据所述当前输出结果及所述隐藏层中最后一层隐层中各隐层单元的权重参数和偏置参数，计算所述隐藏层中最后一层隐层对应的最后一层扰动值，并得到最后一层隐层中各个隐层单元对应的单元扰动值；
第二后向计算单元，用于按所述隐藏层的隐层倒序方向根据所述最后一层扰动值，依序计算隐藏层中最后一层隐层之外的其他隐层中各个隐层单元对应的单元扰动值。
在本实施例中，在计算隐藏层中各个隐层单元对应的单元扰动值时，也是参考相关性值获取单元130中的后向计算方式，从最后一层隐层依序向前倒推计算隐藏层中各个隐层单元对应的单元扰动值。在计算了各个隐层单元对应的单元扰动值，即可根据各个隐层单元对应的单元扰动值分析出较重要的隐层单元。其中，各个隐层单元对应的单元扰动值越大，表示该隐层单元对输出结果的影响越小。
扰动值排序单元170，用于将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
在本实施例中，当将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果，其中单元扰动值越小的隐层对输出结果的影响越大。更具体的，隐层单元排序结果中排名前3位的单元扰动值分别对应的隐层可以选做为候选隐层单元，以加入当前目标隐层清单。当前目标隐层清单中的各个隐层则是对输出结果的影响大的3个隐层。
由于获知了当前目标隐层单元清单和隐层单元排序结果，即可根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元，还可根据隐层单元排序结果获取对输出结果的影响大的隐层单元，这样实现了对深度学习模型的可解释性参数获取。
在一实施例中，深度学习模型的可解释性参数获取装置100还包括：
模型可解释性信息生成单元，用于根据所述当前目标隐层单元清单和所述隐层单元排序结果，生成与所述连接主义机器学习模型对应的模型可解释性信息，将所述模型可解释性信息发送至目标终端。
在本实施例中，当获取了所述当前目标隐层单元清单和所述隐层单元排序结果，可以调用预先存储的模型关键参数展示报告模板，将所述当前目标隐层单元清单和所述隐层单元排序结果填充至模型关键参数展示报告模板后，生成一个模型可解释性信息。
通过服务器将这一模型可解释性信息发送目标终端（该目标终端是该连接主义机器学习模型的模型维护人员）后，模型维护人员可以参考所述模型可解释性信息获知该连接主义机器学习模型的隐藏层中的重要隐层单元和重要隐层，从而确定是否调整该连接主义机器学习模型的隐藏层结构（例如删除一些不太重要的隐层单元）。通过这一方式，实现了对连接主义机器学习模型的重要隐藏层单元的可视性解释。
在一实施例中，深度学习模型的可解释性参数获取装置100，还包括：
参数上链单元，用于将所述连接主义机器学习模型的模型参数集及所述模型可解释性信息上传至区块链网络。
在本实施例中，服务器可以作为一个区块链节点设备，将所述连接主义机器学习模型的模型参数集（模型参数集至少包括各个隐层单元的权重参数、偏置参数）及所述模型可解释性信息上传至区块链网络，充分利用区块链数据不可篡改的特性，实现重要模型参数和模型可解释性信息的固化存储。
其中，基于所述连接主义机器学习模型的模型参数集及所述模型可解释性信息得到对应的摘要信息，具体来说，摘要信息由所述连接主义机器学习模型的模型参数集及所述模型可解释性信息进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述连接主义机器学习模型的模型参数集及所述模型可解释性信息是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该装置实现了根据各个隐层单元的隐层单元相关性值分析出每层隐层中的重要隐层单元，还可根据隐层单元排序结果获取对输出结果的影响大的隐层单元，对深度学习模型的可解释性参数进行了准确和可视化的获取。
上述深度学习模型的可解释性参数获取装置可以实现为计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行深度学习模型的可解释性参数获取方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行深度学习模型的可解释性参数获取方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的深度学习模型的可解释性参数获取方法。
本领域技术人员可以理解，图5中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图5所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的深度学习模型的可解释性参数获取方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种深度学习模型的可解释性参数获取方法，其特征在于，包括：
获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；
调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；
获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值；
获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单；
调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果；
根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值；以及
将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
2.根据权利要求1所述的深度学习模型的可解释性参数获取方法，其特征在于，所述连接主义机器学习模型为多层感知机；
将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，包括：
获取所述测试图片对应的N*M大小的像素矩阵，将所述像素矩阵记为输入X；其中，N表示所述测试图片的横向方向像素点的第一总个数，M表示所述测试图片的纵向方向像素点的第二总个数，M和N均为正整数；
将输入X输入至所述多层感知机的第一层隐层，根据所述第一层隐层中各个隐层单元的权重参数、偏置参数及输入X，计算得到第一层隐层中各隐层单元的输出；
若所述隐层对应的总层数大于2，根据第一层隐层中各隐层单元的输出、各隐层单元的权重参数和偏置参数依序获取下一层隐层中各隐层单元的输出，直至获取到多层感知机中最后一层隐层中各隐层单元的输出；
根据所述多层感知机中最后一层隐层中各隐层单元的输出，以及最后一层隐层中各隐层单元的权重参数和偏置参数，计算得到所述多层感知机的输出层的输出结果。
3.根据权利要求2所述的深度学习模型的可解释性参数获取方法，其特征在于，所述获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值，包括：
获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果与输出结果相同的目标单元输出结果，以及获取与所述目标单元输出结果对应的目标隐层单元；
将所述目标隐层单元的单元相关性值设置为1，根据所述相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
4.根据权利要求3所述的深度学习模型的可解释性参数获取方法，其特征在于，所述相关性算法为：
其中，Rj→i表示由j号隐层单元方向传导到i号隐层单元时i号隐层单元的隐层单元相关性值，Zi表示i号隐层单元的单元输出结果，Zj表示j号隐层单元的单元输出结果，Wij表示i号隐层单元传播到j号隐层单元对应的权重参数，ε表示一个预设的极小值，sign（Zj）是一个符号函数，Rj表示j号隐层单元的隐层单元相关性值；
所述根据所述相关性算法计算获取隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值，包括：
按所述隐藏层的隐层倒序方向根据所述相关性算法进行后向计算，得到隐藏层中最后一层隐层之外的其他隐层中各个隐层单元的隐层单元相关性值。
5.根据权利要求1所述的深度学习模型的可解释性参数获取方法，其特征在于，所述根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值，包括：
根据所述当前输出结果及所述隐藏层中最后一层隐层中各隐层单元的权重参数和偏置参数，计算所述隐藏层中最后一层隐层对应的最后一层扰动值，并得到最后一层隐层中各个隐层单元对应的单元扰动值；
按所述隐藏层的隐层倒序方向根据所述最后一层扰动值，依序计算隐藏层中最后一层隐层之外的其他隐层中各个隐层单元对应的单元扰动值。
6.根据权利要求1所述的深度学习模型的可解释性参数获取方法，其特征在于，还包括；
根据所述当前目标隐层单元清单和所述隐层单元排序结果，生成与所述连接主义机器学习模型对应的模型可解释性信息，将所述模型可解释性信息发送至目标终端。
7.根据权利要求6所述的深度学习模型的可解释性参数获取方法，其特征在于，还包括：
将所述连接主义机器学习模型的模型参数集及所述模型可解释性信息上传至区块链网络。
8.一种深度学习模型的可解释性参数获取装置，其特征在于，包括：
机器学习模型获取单元，用于获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；
测试图片输入单元，用于调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；
相关性值获取单元，用于获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值；
目标隐层单元获取单元，用于获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单；
扰动值加入单元，用于调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果；
单元扰动值获取单元，用于根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值；以及
扰动值排序单元，用于将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的深度学习模型的可解释性参数获取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的深度学习模型的可解释性参数获取方法。
CN202010912290.2A 2020-09-02 2020-09-02 深度学习模型的可解释性参数获取方法及装置 Active CN112052957B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010912290.2A CN112052957B (zh) 2020-09-02 2020-09-02 深度学习模型的可解释性参数获取方法及装置
PCT/CN2021/091304 WO2022048172A1 (zh) 2020-09-02 2021-04-30 深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010912290.2A CN112052957B (zh) 2020-09-02 2020-09-02 深度学习模型的可解释性参数获取方法及装置

Publications (2)

Publication Number Publication Date
CN112052957A CN112052957A (zh) 2020-12-08
CN112052957B true CN112052957B (zh) 2023-08-04

Family

ID=73608235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010912290.2A Active CN112052957B (zh) 2020-09-02 2020-09-02 深度学习模型的可解释性参数获取方法及装置

Country Status (2)

Country Link
CN (1) CN112052957B (zh)
WO (1) WO2022048172A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052957B (zh) * 2020-09-02 2023-08-04 平安科技（深圳）有限公司 深度学习模型的可解释性参数获取方法及装置
CN114170485B (zh) * 2021-11-23 2024-09-10 北京航空航天大学 深度学习可解释方法及设备、存储介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166275A (zh) * 2018-05-22 2019-08-23 腾讯科技（深圳）有限公司 信息处理方法、装置及存储介质
CN110188794A (zh) * 2019-04-23 2019-08-30 深圳大学 一种深度学习模型的训练方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2703343C2 (ru) * 2015-03-20 2019-10-16 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Назначение оценки релевантности для искусственных нейронных сетей
US11151450B2 (en) * 2018-05-21 2021-10-19 Fair Isaac Corporation System and method for generating explainable latent features of machine learning models
US20190164057A1 (en) * 2019-01-30 2019-05-30 Intel Corporation Mapping and quantification of influence of neural network features for explainable artificial intelligence
CN111062442B (zh) * 2019-12-20 2022-04-12 支付宝(杭州)信息技术有限公司 解释业务处理模型的业务处理结果的方法和装置
CN112052957B (zh) * 2020-09-02 2023-08-04 平安科技（深圳）有限公司 深度学习模型的可解释性参数获取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166275A (zh) * 2018-05-22 2019-08-23 腾讯科技（深圳）有限公司 信息处理方法、装置及存储介质
CN110188794A (zh) * 2019-04-23 2019-08-30 深圳大学 一种深度学习模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112052957A (zh) 2020-12-08
WO2022048172A1 (zh) 2022-03-10

Similar Documents

Publication Publication Date Title
CN113508378B (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
Estoup et al. Estimation of demo‐genetic model probabilities with Approximate Bayesian Computation using linear discriminant analysis on summary statistics
WO2022005091A1 (ko) 골 연령 판독 방법 및 장치
KR102455875B1 (ko) 골 연령 판독 방법 및 장치
KR20220107302A (ko) 순환 신경망에서의 거리 메트릭 및 클러스터링
CN112052957B (zh) 深度学习模型的可解释性参数获取方法及装置
CN113192639B (zh) 信息预测模型的训练方法、装置、设备及存储介质
CN107273979A (zh) 基于服务级别来执行机器学习预测的方法及系统
CN114610865B (zh) 召回文本推荐方法、装置、设备及存储介质
CN113971423A (zh) 用于训练新的神经网络的方法、系统及计算机可读介质
CN112508456A (zh) 食品安全风险评估方法、系统、计算机设备及存储介质
Heaton et al. Explainable AI via learning to optimize
US12039701B2 (en) Apparatus for enhancing image quality and method for the same
CN118114257B (zh) 基于知识图谱的私域数据隐私泄露风险评估方法
WO2024028196A1 (en) Methods for training models in a federated system
Milocco et al. A method to predict the response to directional selection using a Kalman filter
Yilmaz Artificial neural networks pruning approach for geodetic velocity field determination
CN116401602A (zh) 事件检测方法、装置、设备及计算机可读介质
JP7545297B2 (ja) モデルのデータ提供方法、モデルのデータ提供システム、及びコンピュータプログラム
JP7617724B2 (ja) モデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラム
Sipahi et al. Improving on transfer entropy-based network reconstruction using time-delays: Approach and validation
Wang et al. Cloud-based xai services for assessing open repository models under adversarial attacks
CN114218574A (zh) 一种数据检测方法、装置、电子设备以及存储介质
CN110162714A (zh) 内容推送方法、装置、计算设备和计算机可读存储介质
Daub et al. Uncertainty quantification of dynamic earthquake rupture simulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant