Nothing Special   »   [go: up one dir, main page]

CN116521379A - 一种gpu数据分析系统、电子设备和存储介质 - Google Patents

一种gpu数据分析系统、电子设备和存储介质 Download PDF

Info

Publication number
CN116521379A
CN116521379A CN202310813507.8A CN202310813507A CN116521379A CN 116521379 A CN116521379 A CN 116521379A CN 202310813507 A CN202310813507 A CN 202310813507A CN 116521379 A CN116521379 A CN 116521379A
Authority
CN
China
Prior art keywords
data
gpu
target
private cloud
etl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310813507.8A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moore Threads Technology Co Ltd
Original Assignee
Moore Threads Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moore Threads Technology Co Ltd filed Critical Moore Threads Technology Co Ltd
Priority to CN202310813507.8A priority Critical patent/CN116521379A/zh
Publication of CN116521379A publication Critical patent/CN116521379A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及计算机技术领域，尤其涉及一种GPU数据分析系统、电子设备和存储介质，所述GPU数据分析系统包括：GPU客户端收集目标GPU数据，目标GPU数据包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据；公有云接收并存储GPU客户端上传的目标GPU数据；私有云从公有云获取目标GPU数据，以及对目标GPU数据进行数据分析，得到数据分析结果。本公开实施例在确保数据隐私安全的情况下全面收集GPU数据，能够有效为GPU数据的存储、迁移、以及数据分析提供通用的标准流程，进而后续能够基于分析结果对GPU性能、运维等方面进行改进。

Description

一种GPU数据分析系统、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种GPU数据分析系统、电子设备和存储介质。
背景技术
由于全功能图像处理器（Graphics Processing Unit，GPU）的研发在国内尚处于起始阶段，各GPU厂商尚未在GPU使用环境和GPU用户使用行为的定义、收集、存储、迁移、分析、可视化等关键步骤所涉及的大数据相关问题形成通用技术方案。一方面目前尚没有关于GPU使用环境、GPU用户使用行为分析系统的先例，另一方面与其具有一定相似性的互联网行业广泛使用的数据分析系统，在数据安全、数据采集限制、数据质量、数据复杂性、数据完整性、实时性等方面都存在一定的问题。因此，针对全功能GPU使用场景，构建一种GPU数据分析系统，以支持对GPU使用环境、GPU用户使用行为进行GPU数据分析，是当前亟需解决的问题。
发明内容
本公开提出了一种GPU数据分析系统、电子设备和存储介质的技术方案。
根据本公开的一方面，提供了一种GPU数据分析系统，包括：GPU客户端，用于收集目标GPU数据，其中，所述目标GPU数据包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据；公有云，用于接收并存储所述GPU客户端上传的所述目标GPU数据；私有云，用于从所述公有云获取所述目标GPU数据，以及对所述目标GPU数据进行数据分析，得到数据分析结果。
在一种可能的实现方式中，所述GPU客户端包括：硬件GPU、元数据收集服务、日志数据收集服务、跟踪数据收集服务、性能指标数据收集服务。
在一种可能的实现方式中，所述GPU硬件数据包括下述至少之一：所述硬件GPU的配置数据、所述硬件GPU的日志数据、所述硬件GPU的跟踪数据、所述硬件GPU的性能指标数据；所述元数据收集服务，用于收集所述硬件GPU的配置数据；所述日志数据收集服务，用于收集所述硬件GPU的日志数据；所述跟踪数据收集服务，用于收集所述硬件GPU的跟踪数据；所述性能指标数据收集服务，用于收集所述硬件GPU的性能指标数据。
在一种可能的实现方式中，所述GPU客户端包括：所述硬件GPU对应的GPU软件；所述GPU软件数据包括下述至少之一：所述GPU软件的配置数据、所述GPU软件的日志数据、所述GPU软件的性能指标数据；所述元数据收集服务，用于收集所述GPU软件的配置数据；所述日志数据收集服务，用于收集所述GPU软件的日志数据；所述性能指标数据收集服务，用于收集所述GPU软件的性能指标数据。
在一种可能的实现方式中，所述GPU客户端包括：所述硬件GPU工作时所需依赖的关联硬件；所述GPU使用环境数据包括下述至少之一：所述关联硬件的配置数据、所述关联硬件的性能指标数据；所述元数据收集服务，用于收集所述关联硬件的配置数据；所述性能指标数据收集服务，用于收集所述关联硬件的性能指标数据。
在一种可能的实现方式中，所述GPU客户端包括：所述硬件GPU的使用用户；所述GPU用户数据包括下述至少之一：所述使用用户的用户画像数据、所述使用用户的用户行为数据；所述元数据收集服务，用于收集所述用户画像数据；所述性能指标数据收集服务，用于收集所述用户行为数据。
在一种可能的实现方式中，所述GPU客户端包括：数据收集器；所述数据收集器，用于从所述元数据收集服务、所述日志数据收集服务、所述跟踪数据收集服务、所述性能指标数据收集服务中的至少之一获取所述目标GPU数据；所述数据收集器，用于对所述目标GPU数据进行数据压缩，得到压缩数据，以及将所述压缩数据上传至所述公有云。
在一种可能的实现方式中，所述公有云包括：GPU数据收集服务、GPU数据流生成器、公有云分布式数据流平台；所述GPU数据收集服务，用于接收所述压缩数据，并对所述压缩数据进行数据解压缩，得到所述目标GPU数据，以及将所述目标GPU数据发送至所述GPU数据流生成器；所述GPU数据流生成器，用于生成所述目标GPU数据对应的GPU数据流，以及将所述GPU数据流发送至所述公有云分布式数据流平台。
在一种可能的实现方式中，所述公有云包括：GPU数据流消费器、第一数据校验器；所述GPU数据流消费器，用于从所述公有云分布式数据流平台获取所述GPU数据流，并将所述GPU数据流恢复为所述目标GPU数据，以及将所述目标GPU数据发送至所述第一数据校验器；所述第一数据校验器，用于对所述目标GPU数据进行数据校验。
在一种可能的实现方式中，所述公有云包括：公有云分布式对象存储、公有云事务性数据库；所述GPU数据流消费器，用于在校验通过后，根据所述目标GPU数据生成目标数据块，以及将所述目标数据块发送至所述公有云分布式对象存储进行存储；所述GPU数据流消费器，用于生成所述目标数据块对应的目标元数据，以及将所述目标元数据发送至所述公有云事务性数据库进行存储。
在一种可能的实现方式中，所述公有云包括：数据块任务搬运队列；所述GPU数据流消费器，用于根据所述目标元数据，生成数据块搬运任务，以及将所述数据块搬运任务发送至所述数据块搬运任务队列。
在一种可能的实现方式中，所述私有云包括：私有云绿区、私有云黄区、私有云红区；所述私有云红区的安全等级高于所述私有云黄区，所述私有云黄区的安全等级高于所述私有云绿区。
在一种可能的实现方式中，所述私有云绿区包括：数据块搬运规划器、数据块搬运资源池、数据搬运器；所述数据块搬运规划器，用于从所述数据块任务搬运队列中获取所述数据块搬运任务，并从所述数据块搬运资源池中申请所述数据块搬运任务对应的目标资源，以及将所述数据块搬运任务和所述目标资源发送至所述数据搬运器；所述数据搬运器，用于利用所述目标资源，从所述公有云事务性数据库中获取所述数据搬运任务对应的所述目标元数据；所述数据搬运器，用于利用所述目标资源，从所述公有云分布式对象存储中获取所述目标元数据对应的所述目标数据块。
在一种可能的实现方式中，所述私有云绿区包括：第二数据校验器、私有云绿区分布式对象存储、私有云绿区事务性数据库；所述数据搬运器，用于将所述目标数据块和所述目标元数据发送至所述第二数据校验器；所述第二数据校验器，用于对根据所述目标元数据对所述目标数据块进行数据校验；所述数据搬运器，用于在校验通过后，将所述目标数据块发送至所述私有云绿区分布式对象存储进行存储，以及将所述目标元数据发送至所述私有云绿区事务性数据库进行存储。
在一种可能的实现方式中，所述私有云绿区包括：ETL任务队列；所述数据搬运器，用于根据所述目标数据块和所述目标元数据，生成ETL任务，以及将所述ETL任务发送至所述ETL任务队列。
在一种可能的实现方式中，所述私有云黄区包括：ETL器、ETL管线；所述ETL器，用于从所述ETL任务队列中获取所述ETL任务，以及从所述私有云绿区分布式对象存储中获取所述ETL任务对应的所述目标数据块，从所述私有云绿区事务性数据库中获取所述ETL任务对应的所述目标元数据，以及根据所述目标元数据对所述目标数据块进行数据校验；所述ETL器，用于在校验通过之后，根据所述目标数据块的类别，创建ETL管线实例，以及将所述ETL管线实例发送至所述ETL管线，其中，所述ETL管线实例中包括所述目标数据块。
在一种可能的实现方式中，所述私有云黄区包括：数据抽取服务、数据转换服务、数据加载服务、ETL数据流生成器；所述ETL管线，用于将所述ETL管线实例发送至所述数据抽取服务；所述数据抽取服务，用于按照第一预设规则对所述目标数据块进行数据抽取，得到抽取后数据，以及将所述抽取后数据发送至所述数据转换服务；所述数据转换服务，用于按照第二预设规则对所述抽取后数据进行数据转换，得到转换后数据，以及将所述转换后数据发送至数据加载服务；所述数据加载服务，用于将所述转换后数据发送至所述ETL数据流生成器。
在一种可能的实现方式中，所述私有云红区包括：私有云红区分布式数据流平台；所述ETL数据流生成器，用于生成所述转换后数据对应的ETL数据流，以及将所述ETL数据流发送至所述私有云红区分布式数据流平台。
在一种可能的实现方式中，所述私有云红区包括：ETL数据消费器、第三数据校验器；所述ETL数据消费器，用于从所述私有云红区分布式数据流平台获取所述ETL数据流，并将所述ETL数据流转换为ETL数据，以及将所述ETL数据发送至所述第三数据校验器，其中，所述ETL数据用于指示对所述目标数据块和所述目标元数据执行ETL处理后的GPU数据；所述第三数据校验器，用于对所述ETL数据进行数据校验。
在一种可能的实现方式中，所述私有云红区包括：私有云数据湖、私有云数据仓库、私有云数据市场；所述ETL数据消费器，用于在校验通过后，将所述ETL数据发送至所述私有云数据湖进行存储，将所述ETL数据中包括的结构化数据发送至所述私有云数据仓库进行存储，以及将所述ETL数据中包括的单一业务线相关数据发送至所述私有云数据市场进行存储。
在一种可能的实现方式中，所述私有云红区包括：数据质量控制器；所述数据质量控制器，用于对目标存储中的数据进行质量检测，得到质量检测结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个。
在一种可能的实现方式中，所述私有云红区包括：数据分析服务；所述数据分析服务，用于对目标存储中的数据进行数据分析，得到数据分析结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述数据分析包括下述至少之一：数据挖掘、机器学习、数据建模、数据分割。
在一种可能的实现方式中，所述私有云红区包括：数据可视化服务；所述数据可视化服务，用于对目标存储中的数据进行可视化处理，得到可视化结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述可视化结果包括下述至少之一：可视化关键数字、可视化图表、可视化颜色标注、可视化弹性数据。
在一种可能的实现方式中，所述私有云红区包括：数据洞察服务；所述数据洞察服务，用于对目标存储中的数据进行数据洞察分析，确定商业洞察指标，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述商业洞察指标包括下述至少之一：用户体验优化、个人推荐、营销策略提炼、产品特色。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以运行上述系统。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述系统。
在本公开实施例中，GPU数据分析系统包括：GPU客户端、公有云和私有云；GPU客户端收集包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据的目标GPU数据；公有云接收并存储GPU客户端上传的目标GPU数据；私有云从公有云获取目标GPU数据，以及对目标GPU数据进行数据分析，得到数据分析结果。基于本公开实施例的GPU数据分析系统，能够利用GPU客户端，在确保数据隐私安全的情况下全面收集GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据等GPU数据，利用公有云和私有云，能够有效为GPU数据的存储、迁移、以及数据分析提供通用的标准流程，进而后续能够基于分析结果对GPU性能、运维等方面进行改进。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的一种GPU数据分析系统的框图。
图2示出根据本公开实施例的GPU客户端采集目标GPU数据的流程图。
图3示出根据本公开实施例的公有云接收并存储数据的流程图。
图4示出根据本公开实施例的私有云绿区接收并存储数据的流程图。
图5示出根据本公开实施例的私有云黄区接收并执行ETL处理的流程图。
图6示出根据本公开实施例的私有云红区接收并存储数据的流程图。
图7示出根据本公开实施例的私有云红区执行数据处理的流程图。
图8示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
在构建针对全功能GPU使用场景的GPU数据分析系统时，需要考虑下面这些技术问题。数据安全问题：在进行用户行为分析时，需要收集和分析用户的个人数据和行为信息，这引发了隐私和数据安全的担忧；用户对于其数据被收集和使用的透明度和控制权要求不断增加，因此，需要确保数据的合法性、安全性和隐私保护。数据采集限制问题：某些用户行为分析受限于特定的平台或环境，例如，移动应用程序可能需要用户授权才能跟踪其行为。数据质量问题：用户行为数据的质量可能受到多种因素的影响，例如，数据采集错误、数据丢失、数据重复等；不正确的数据或低质量的数据可能会导致分析的偏差和不准确性，影响洞察力和决策的准确性。样本偏倚问题：用户行为数据的收集和分析可能受到样本偏倚的影响，例如，在分析时可能无法捕捉到所有用户的行为，导致结果具有一定的偏差，这可能影响对整体用户群体行为的理解和预测。数据复杂性问题：用户行为数据通常是大规模、多样化和复杂的，处理和分析这些数据可能需要高度的技术和资源投入，导致在数据存储和处理的成本、技术能力和专业知识等方面存在挑战。数据解释性问题：用户行为数据通常需要通过数据可视化和解释才能转化为有意义的见解，然而，将数据转化为易于理解和可操作的形式可能需要专业的数据分析和解释能力，以确保数据的准确性和有效性。实时性要求问题：某些场景对用户行为数据的实时收集和分析有较高要求，以便及时做出决策和优化，然而，实时数据处理和分析可能需要更复杂的技术架构和更高的资源投入。数据完整性问题：用户行为分析通常需要多个数据源的集成和分析，确保数据的完整性和一致性可能需要解决数据标准化、数据合并和数据集成的挑战。系统设计复杂问题：由上述分析可见，数据分析系统流程路径漫长而复杂，所涉及的技术领域和技术问题众多，因此其设计难度巨大，当然这也成为用户行为分析的厂商据此长期实现商业盈利的有效途径和平台。数据与应用及相关技术流程缺乏行业标准问题：由于商业利益驱使，各个商业方案不会把技术对外部进行分享，导致在用户行为分析的端到端的技术流程不透明，进而缺乏通用标准。
为了解决上述技术问题，本公开实施例提供了一种GPU数据分析系统。下面对本公开实施例提供的GPU数据分析系统进行详细描述。
图1示出根据本公开实施例的一种GPU数据分析系统的框图。如图1所示，该GPU数据分析系统包括：
GPU客户端，用于收集目标GPU数据，其中，目标GPU数据包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据；
公有云，用于接收并存储GPU客户端上传的目标GPU数据；
私有云，用于从公有云获取所述目标GPU数据，以及对目标GPU数据进行数据分析，得到数据分析结果。
基于本公开实施例的GPU数据分析系统，能够利用GPU客户端，在确保数据隐私安全的情况下全面收集GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据等GPU数据，利用公有云和私有云，能够有效为GPU数据的存储、迁移、以及数据分析提供通用的标准流程，进而后续能够基于分析结果对GPU性能、运维等方面进行改进。
在一种可能的实现方式中，GPU客户端包括：硬件GPU、元数据收集服务、日志数据收集服务、跟踪数据收集服务、性能指标数据收集服务。
这里的GPU客户端安装有硬件GPU，且面向硬件GPU的使用用户。在遵循数据隐私和数据安全的前提下，基于GPU客户端中包括的元数据收集服务、日志数据收集服务、跟踪数据收集服务、性能指标数据收集服务，可以全面收集用于进行后续数据分析的GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据四大类目标GPU数据。
在一种可能的实现方式中，GPU硬件数据包括下述至少之一：硬件GPU的配置数据、硬件GPU的日志数据、硬件GPU的跟踪数据、硬件GPU的性能指标数据；元数据收集服务，用于收集硬件GPU的配置数据；日志数据收集服务，用于收集硬件GPU的日志数据；跟踪数据收集服务，用于收集硬件GPU的跟踪数据；性能指标数据收集服务，用于收集硬件GPU的性能指标数据。
元数据收集服务收集硬件GPU的配置数据，其中，硬件GPU的配置数据可以包括硬件GPU的型号、架构、显存容量、速度等硬件信息。在硬件GPU首次配置完成且未进行配置更新的情况下，元数据收集服务只需要对硬件GPU的配置信息进行一次收集即可；若后续对硬件GPU进行了配置更新，元数据收集服务可以对硬件GPU的配置信息重新进行收集。
日志数据收集服务收集硬件GPU的日志数据，其中，对硬件GPU的日志数据中的异常和错误日志记录进行重点收集，例如，对GPU驱动程序崩溃、GPU重置等日志记录进行重点收集，后续基于这些数据进行数据分析后，可以帮助GPU厂商了解其系统的GPU配置和性能潜力。为了获取更全面的日志记录，日志数据收集服务可以对硬件GPU的日志数据进行实时收集。
跟踪数据收集服务收集硬件GPU的跟踪数据，其中，硬件GPU的跟踪数据可以在数据分析过程中，可以用于对硬件GPU对应的GPU软件出现异常时的环境进行复现，以帮助GPU厂商进行问题解决。
性能指标数据收集服务收集硬件GPU的性能指标数据，其中，硬件GPU的性能指标数据可以是硬件GPU的工作状态和负载等实时信息。
图2示出根据本公开实施例的GPU客户端采集目标GPU数据的流程图。如图2所示，GPU客户端（GPU Client）包括：硬件GPU、元数据收集服务（Meta）、日志数据收集服务（Log）、跟踪数据收集服务（Trace）、性能指标数据收集服务（Metrics）。元数据收集服务收集硬件GPU的配置数据，日志数据收集服务收集硬件GPU的日志数据，跟踪数据收集服务收集硬件GPU的跟踪数据，性能指标数据收集服务收集硬件GPU的性能指标数据。
在一种可能的实现方式中，GPU客户端包括：硬件GPU对应的GPU软件；GPU软件数据包括下述至少之一：GPU软件的配置数据、GPU软件的日志数据、GPU软件的性能指标数据；元数据收集服务，用于收集GPU软件的配置数据；日志数据收集服务，用于收集GPU软件的日志数据；性能指标数据收集服务，用于收集GPU软件的性能指标数据。
GPU客户端包括硬件GPU对应的GPU软件，其中，GPU软件可以是基于硬件GPU运行的应用程序。
元数据收集服务收集GPU软件的配置数据。其中，在GPU软件首次配置完成且未进行配置更新的情况下，元数据收集服务只需要对GPU软件的配置信息进行一次收集即可；若后续对GPU软件进行了配置更新，元数据收集服务可以对GPU软件的配置信息重新进行收集。
日志数据收集服务收集GPU软件的日志数据，其中，GPU软件的日志数据可以是GPU软件运行过程中的日志记录，对GPU软件的日志数据中的警告级别或者错误级别的日志记录进行重点收集，后续基于这些数据进行数据分析后，可以实现GPU软件的漏洞解决和性能优化。为了获取更全面的日志记录，日志数据收集服务可以对GPU软件的日志数据进行实时收集。
性能指标数据收集服务收集GPU软件的性能指标数据，其中，GPU软件的性能指标数据可以包括帧率、渲染时间、计算时间等，后续基于这些数据进行数据分析后，可以帮助GPU厂商了解GPU软件在硬件GPU上的效率，以及进行性能优化。性能指标数据收集服务可以实时收集GPU软件运行过程中的性能指标数据。
如图2所示，GPU客户端包括：硬件GPU对应的GPU软件（GPU Software）。元数据收集服务收集GPU软件的配置数据，日志数据收集服务收集GPU软件的日志数据，性能指标数据收集服务收集GPU软件的性能指标数据。
在一种可能的实现方式中，GPU客户端包括：硬件GPU工作时所需依赖的关联硬件；GPU使用环境数据包括下述至少之一：关联硬件的配置数据、关联硬件的性能指标数据；元数据收集服务，用于收集关联硬件的配置数据；性能指标数据收集服务，用于收集关联硬件的性能指标数据。
GPU客户端包括硬件GPU工作时所需依赖的关联硬件，其中，关联硬件可以是中央处理器（Central Processing Unit，CPU）、硬盘等，能够反映硬件GPU的使用环境。
元数据收集服务收集关联硬件的配置数据，其中，关联硬件的配置数据可以包括CPU、内存、磁盘和网络配置等。其中，在关联硬件首次配置完成且未进行配置更新的情况下，元数据收集服务只需要对关联硬件的配置信息进行一次收集即可；若后续对关联硬件进行了配置更新，元数据收集服务可以对关联硬件的配置信息重新进行收集。性能指标数据收集服务收集关联硬件的性能指标数据。
后续基于对至少包括关联硬件的配置数据、关联硬件的性能指标数据的GPU使用环境数据进行数据分析，可以实现对整机性能的检测和优化，在避免因为整机性能瓶颈影响硬件GPU使用体验方面可以有很大帮助。
如图2所示，GPU客户端包括：硬件GPU工作时所需依赖的关联硬件（HardwareEnvironment）。元数据收集服务收集关联硬件的配置数据；性能指标数据收集服务收集关联硬件的性能指标数据。
在一种可能的实现方式中，GPU客户端包括：硬件GPU的使用用户；GPU用户数据包括下述至少之一：使用用户的用户画像数据、使用用户的用户行为数据；元数据收集服务，用于收集用户画像数据；性能指标数据收集服务，用于收集用户行为数据。
GPU客户端包括硬件GPU的使用用户。元数据收集服务收集用户画像数据，其中，用户画像数据可以包括性别、年龄、职业等。性能指标数据收集服务收集用户行为数据，其中，用户行为数据可以包括操作习惯、反馈、意见等。后续基于对至少包括用户画像数据、用户行为数据的GPU用户数据进行数据分析，可以改进硬件GPU的功能和性能。
如图2所示，GPU客户端包括：硬件GPU的使用用户（User）。元数据收集服务收集使用用户的用户画像数据，性能指标数据收集服务收集使用用户的用户行为数据。
在一种可能的实现方式中，GPU客户端包括：数据收集器；数据收集器，用于从元数据收集服务、日志数据收集服务、跟踪数据收集服务、性能指标数据收集服务中的至少之一获取目标GPU数据；数据收集器，用于对目标GPU数据进行数据压缩，得到压缩数据，以及将压缩数据上传至公有云。
如图2所示，GPU客户端包括：数据收集器（Data Collector）。数据收集器从日志数据收集服务中实时获取日志数据，将日志数据从主存中存储到磁盘后，并进行数据压缩后，周期性上传至公有云。数据收集器从性能指标数据收集服务中实时收集性能指标数据，并实时上传至公有云。数据收集器从跟踪数据服务中获取跟踪数据，在使用用户允许的前提下，将跟踪数据上传至公有云。数据收集器从元数据收集服务获取配置数据后上传至公有云，一般在系统第一次启动时进行配置数据的收集和发送，后续发生配置更新时重新获取并上传配置数据。
在本公开实施例的GPU数据分析系统中，GPU客户端只有在用户允许的前提下，才会收集以及向公有云上传涉及用户隐私的数据，从而既解决了数据采集限制问题，又有效确保了数据隐私和数据安全。
公有云接收并存储GPU客户端上传的目标GPU数据，为后续将目标GPU数据转移到更加安全的私有云做准备。
在一种可能的实现方式中，公有云包括：GPU数据收集服务、GPU数据流生成器、公有云分布式数据流平台；GPU数据收集服务，用于接收压缩数据，并对压缩数据进行数据解压缩，得到目标GPU数据，以及将目标GPU数据发送至GPU数据流生成器；GPU数据流生成器，用于生成目标GPU数据对应的GPU数据流，以及将GPU数据流发送至公有云分布式数据流平台。
图3示出根据本公开实施例的公有云接收并存储数据的流程图。如图3所示，公有云（Public Cloud）包括：GPU数据收集服务（GPU Data Collection Service）、GPU数据流生成器（GPU Data Stream Producer）、公有云分布式数据流平台（Public CloudDistributed Streaming Platform）。
如图3所示，GPU数据收集服务接收GPU客户端上传的压缩数据。GPU数据收集服务对接收到的压缩数据进行数据解压缩，得到目标GPU数据，也即原始GPU数据，进而，将目标GPU数据发送至GPU数据流生成器。如图3所示，GPU数据收集服务将目标GPU数据发送至GPU数据流生成器。
GPU数据流生成器生成目标GPU数据对应的GPU数据流，并将GPU数据流发送至公有云分布式数据流平台，以进行数据流量缓冲，这种处理方式对于长期占用带宽的单个大数据传输，或者高并发数据传输场景具有极其重要的作用。如图3所示，GPU数据流生成器生成并向公有云分布式数据流平台发送GPU数据流。
在一种可能的实现方式中，公有云包括：GPU数据流消费器、第一数据校验器；GPU数据流消费器，用于从公有云分布式数据流平台获取GPU数据流，并将GPU数据流恢复为目标GPU数据，以及将目标GPU数据发送至所述第一数据校验器；第一数据校验器，用于对目标GPU数据进行数据校验。
如图3所示，公有云包括：GPU数据流消费器（GPU Data Stream Consumer）、第一数据校验器（Raw Data Validator）。如图3所示，GPU数据流消费器从公有云分布式数据流平台获取GPU数据流。在一示例中，GPU数据流消费器按照预先制定的消费规则，从公有云分布式数据流平台依次获取GPU数据流，其中，预先制定的消费规则可以根据实际情况进行设置，本公开对此不做具体限定。
GPU数据流消费器根据获取到的GPU数据流，恢复得到目标GPU数据，即原始GPU，进而，将目标GPU数据发送至第一数据校验器。如图3所示，GPU数据流消费器将目标GPU数据发送至第一数据校验器，以使得第一数据校验器对目标GPU数据进行数据校验。其中，数据校验的具体形式可以根据实际需要进行灵活选择，本公开对此不做具体限定。
在一种可能的实现方式中，公有云包括：公有云分布式对象存储、公有云事务性数据库；GPU数据流消费器，用于在校验通过后，根据目标GPU数据生成目标数据块，以及将目标数据块发送至公有云分布式对象存储进行存储；GPU数据流消费器，用于生成目标数据块对应的目标元数据，以及将目标元数据发送至公有云事务性数据库进行存储。
如图3所示，公有云包括：公有云分布式对象存储（Public Cloud DistributedObject Storage）、公有云事务性数据库（Public Cloud Transactional Database）。在目标GPU数据校验通过后，GPU数据流消费器根据目标GPU数据生成目标数据块，以及将目标数据块发送至公有云分布式对象存储进行存储，以备后续向私有云进行数据搬运。GPU数据流消费器生成目标数据块对应的目标元数据，以及将目标元数据发送至公有云事务性数据块进行存储，以备后续向私有云进行数据搬运时进行数据校验。如图3所示，GPU数据流消费器将目标数据块发送至公有云分布式对象存储进行存储，将目标元数据发送至公有云事务性数据库进行存储。
在一种可能的实现方式中，公有云包括：数据块任务搬运队列；GPU数据流消费器，用于根据目标元数据，生成数据块搬运任务，以及将数据块搬运任务发送至数据块搬运任务队列。
如图3所示，公有云包括：数据块任务搬运队列（Bulk Moving Task Queue）。GPU数据流消费者根据目标元数据生成数据块搬运任务，以及将数据块搬运任务发送至数据块搬运任务队列，以备后续向私有云进行数据搬运。如图3所示，GPU数据流消费者生成并向数据块任务搬运队列发送数据块搬运任务。
在一示例中，公有云还包括数据加密服务，用于对目标数据块、目标元数据进行数据加密，以确保后续存储数据的安全性。其中，数据加密方式可以根据实际需要进行灵活选择，本公开对此不做具体限定。
在一种可能的实现方式中，私有云包括：私有云绿区、私有云黄区、私有云红区；私有云红区的安全等级高于私有云黄区，私有云黄区的安全等级高于私有云绿区。
私有云（Private Cloud）包括：私有云绿区（Private Cloud Green Zone）、私有云黄区（Private Cloud Yellow Zone）、私有云红区（Private Cloud Red Zone）。为了避免公有云潜在的数据安全威胁，私有云划分为三个不同安全等级的区域。三个区域中安全等级最低的私有云绿区用于将公有云数据有计划的搬运到私有云，安全等级高一级的私有云黄区用于对数据进行相应处理，安全等级最高的私有云红区用于完成数据持久化存储、相应的数据分析等处理。
在一种可能的实现方式中，私有云绿区包括：数据块搬运规划器、数据块搬运资源池、数据搬运器；数据块搬运规划器，用于从数据块任务搬运队列中获取数据块搬运任务，并从数据块搬运资源池中申请数据块搬运任务对应的目标资源，以及将数据块搬运任务和目标资源发送至数据搬运器；数据搬运器，用于利用目标资源，从公有云事务性数据库中获取数据搬运任务对应的目标元数据；数据搬运器，用于利用目标资源，从公有云分布式对象存储中获取目标元数据对应的目标数据块。
图4示出根据本公开实施例的私有云绿区接收并存储数据的流程图。如图4所示，私有云绿区包括：数据块搬运规划器（Bulk Moving Scheduler）、数据块搬运资源池（BulkMoving Resource Pool）、数据搬运器（Bulk Moving Workers）。如图4所示，数据块搬运规划器从数据块任务搬运队列中获取数据块搬运任务。数据块搬运规划器查询数据块搬运资源池中是否有足够资源完成数据块搬运任务，若存在，则从数据块搬运资源池中申请数据块搬运任务对应的目标资源。如图4所示，数据块搬运规划器从数据块搬运资源池中申请目标资源。其中，目标资源可以包括计算资源、存储资源、网络资源等。
如图4所示，数据块搬运规划器将数据块搬运任务和目标资源发送至数据搬运器，数据搬运器利用目标资源从公有云事务性数据库中获取数据搬运任务对应的目标元数据；数据搬运器，以及利用目标资源从公有云分布式对象存储中获取目标元数据对应的目标数据块。
在一种可能的实现方式中，私有云绿区包括：第二数据校验器、私有云绿区分布式对象存储、私有云绿区事务性数据库；数据搬运器，用于将目标数据块和目标元数据发送至第二数据校验器；第二数据校验器，用于根据目标元数据对目标数据块进行数据校验；数据搬运器，用于在校验通过后，将目标数据块发送至私有云绿区分布式对象存储进行存储，以及将目标元数据发送至私有云绿区事务性数据库进行存储。
如图4所示，私有云绿区包括：第二数据校验器（Bulk Moving Validator）、私有云绿区分布式对象存储（Private Cloud Green Zone Distributed Object Storage）、私有云绿区事务性数据库（Private Cloud Green Zone Transactional Database）。如图4所示，数据搬运器将目标数据块和目标元数据发送至第二数据校验器，以使得第二数据校验器根据目标元数据对目标数据块进行数据校验。其中，数据校验的具体形式可以根据实际需要进行灵活选择，本公开对此不做具体限定。
在根据目标元数据对目标数据块进行校验通过后，如图4所示，数据搬运器将目标数据块发送至私有云绿区分布式对象存储进行存储，以及将目标元数据发送至私有云绿区事务性数据库进行存储。
在一种可能的实现方式中，私有云绿区包括：ETL任务队列；数据搬运器，用于根据目标数据块和目标元数据，生成ETL任务，以及将ETL任务发送至ETL任务队列。
如图4所示，私有云绿区包括：ETL任务队列（ETL Task Queue）。数据搬运器根据目标数据块和目标元数据，生成ETL任务，以及将ETL任务发送至ETL任务队列。如图4所示，数据搬运器向ETL任务队列发送ETL任务。
在一种可能的实现方式中，私有云黄区包括：ETL器、ETL管线；ETL器，用于从ETL任务队列中获取ETL任务，以及从私有云绿区分布式对象存储中获取ETL任务对应的目标数据块，从私有云绿区事务性数据库中获取ETL任务对应的目标元数据，以及根据目标元数据对目标数据块进行数据校验；ETL器，用于在校验通过之后，根据目标数据块的类别，创建ETL管线实例，以及将ETL管线实例发送至ETL管线，其中，ETL管线实例中包括目标数据块。
图5示出根据本公开实施例的私有云黄区接收并执行ETL处理的流程图。如图5所示，私有云黄区包括：ETL器（ETL Workers）、ETL管线（ETL Pipeline）。如图5所示，ETL器从ETL任务队列中获取ETL任务，进而从私有云绿区分布式对象存储中获取ETL任务对应的目标数据块，以及从私有云绿区事务性数据库中获取ETL任务对应的目标元数据
ETL器根据目标元数据对目标数据块进行数据校验，并在校验通过后，根据目标数据块的类别创建ETL管线实例，其中，ETL管线实例中包括目标数据块，进而将ETL管线实例发送至ETL管线。如图5所示，ETL器创建并向ETL管线发送ETL管线实例。
在一种可能的实现方式中，私有云黄区包括：数据抽取服务、数据转换服务、数据加载服务、ETL数据流生成器；ETL管线，用于将ETL管线实例发送至数据抽取服务；数据抽取服务，用于按照第一预设规则对ETL管线实例中包括的目标数据块进行数据抽取，得到抽取后数据，以及将抽取后数据发送至数据转换服务；数据转换服务，用于按照第二预设规则对抽取后数据进行数据转换，得到转换后数据，以及将转换后数据发送至数据加载服务；数据加载服务，用于将转换后数据发送至ETL数据流生成器。
如图5所示，私有云黄区包括：数据抽取服务（Extraction Service）、数据转换服务（Transformation Service）、数据加载服务（Loading Service）、ETL数据流生成器（ETLData Stream Producers）。如图5所示，ETL管线将ETL管线实例发送至数据抽取服务进行数据抽取。数据抽取服务按照第一预设规则对ETL管线实例中包括的目标数据块进行数据抽取，得到抽取后数据，其中，第一预设规则可以包括数据预定义、规则、纲要、政策、合规中的一个或多个，或者，还可以根据实际情况灵活选择其他规则，本公开对此不做具体限定。
如图5所示，数据抽取服务将抽取后数据发送至数据转换服务进行数据转换。数据转换服务按照第二预设规则对抽取后数据进行数据转换，得到转换后数据，其中，第二预设规则可以包括清洗、归一、过滤、排序、合并、聚合、分割、改进、推理、遮蔽中的一个或多个，或者，还可以根据实际情况灵活选择其他规则，本公开对此不做具体限定。
如图5所示，数据转换服务将转换后数据发送至数据加载服务，数据加载服务将转换后数据发送至ETL数据流生成器。
在一种可能的实现方式中，私有云红区包括：私有云红区分布式数据流平台；ETL数据流生成器，用于生成转换后数据对应的ETL数据流，以及将ETL数据流发送至私有云红区分布式数据流平台。
ETL数据流生成器生成转换后数据对应的ETL数据流，以及将ETL数据流发送至私有云红区分布式数据流平台，已进行后续的数据存储消峰。如图5所示，私有云红区包括：私有云红区分布式数据流平台（Private Cloud Red Zone Distributed StreamingPlatform），ETL数据流生成器生成并向私有云红区分布式数据流平台发送ETL数据流。
在一种可能的实现方式中，私有云红区包括：ETL数据消费器、第三数据校验器；ETL数据消费器，用于从私有云红区分布式数据流平台获取ETL数据流，并将ETL数据流转换为ETL数据，以及将ETL数据发送至第三数据校验器，其中，ETL数据用于指示对目标数据块和目标元数据执行ETL处理后的GPU数据；第三数据校验器，用于对ETL数据进行数据校验。
图6示出根据本公开实施例的私有云红区接收并存储数据的流程图。如图6所示，私有云红区包括：ETL数据消费器（ETL Data Consumer）、第三数据校验器（ETL DataValidator）。ETL数据消费器从私有云红区分布式数据流平台获取ETL数据流，并转换为ETL数据，以及将ETL数据发送至第三数据校验器，以使得第三数据校验器对ETL数据进行数据校验。其中，数据校验的具体形式可以根据实际需要进行灵活选择，本公开对此不做具体限定。如图6所示，ETL数据消费器从私有云红区分布式数据流平台获取ETL数据流，以及向第三数据校验器发送ETL数据进行数据校验。
在一种可能的实现方式中，私有云红区包括：私有云数据湖、私有云数据仓库、私有云数据市场；ETL数据消费器，用于在校验通过后，将ETL数据发送至私有云数据湖进行存储，将ETL数据中包括的结构化数据发送至私有云数据仓库进行存储，以及将ETL数据中包括的单一业务线相关数据发送至私有云数据市场进行存储。
如图6所示，私有红区包括：私有云数据湖（Private Cloud Data Lake）、私有云数据仓库（Private Cloud Data Warehouse）、私有云数据市场（Private Cloud Data Mart）。根据数据的不同用途，可以将不同数据持久化存储在私有云红区的不同存储位置。如图6所示，ETL数据消费器将ETL数据发送至私有云数据湖进行存储，将ETL数据中包括的结构化数据发送至私有云数据仓库进行存储，以及将ETL数据中包括的单一业务线相关数据发送至私有云数据市场进行存储。也就是说，私有云数据湖中存储所有的ETL数据，既包括结构化数据、又包括非结构化数据。私有云数据仓库中仅对ETL数据中的结构化数据进行存储。私有云数据市场则仅对ETL数据中的单一业务线相关数据进行存储。
在一种可能的实现方式中，私有云红区包括：数据质量控制器；数据质量控制器，用于对目标存储中的数据进行质量检测，得到质量检测结果，其中，目标存储为私有云数据湖、私有云数据仓库、私有云数据市场中的至少一个。
图7示出根据本公开实施例的私有云红区执行数据处理的流程图。如图7所示，私有云红区包括：数据质量控制器（Data Quality Controller）。如图7所示，数据质量控制器目标存储中的数据进行质量检测。这里的目标存储可以是私有云数据湖、私有云数据仓库、私有云数据市场中的任意一个或多个。质量检测包括针对规则、政策、合规、约束、精度、完整度、整合性、需求、限制等一个或多个指标的检测，或者，质量检测还可以根据实际情况灵活选择其他指标进行质量检测，本公开对此不做具体限定。
在一种可能的实现方式中，私有云红区包括：数据分析服务；数据分析服务，用于对目标存储中的数据进行数据分析，得到数据分析结果，其中，目标存储为私有云数据湖、私有云数据仓库、私有云数据市场中的至少一个，数据分析包括下述至少之一：数据挖掘、机器学习、数据建模、数据分割。
如图7所示，私有云红区包括：数据分析服务（Data Analysis Service）。如图7所示，数据分析服务对目标存储中的数据进行数据分析。这里的目标存储可以是私有云数据湖、私有云数据仓库、私有云数据市场中的任意一个或多个。数据分析包括数据挖掘、机器学习、数据建模、数据分割中的一个或多个，或者，数据分析还可以根据实际情况灵活选择其他分析操作，本公开对此不做具体限定。数据分析面向的对象包括：面向商业的数据分析师、数据科学家、数据模型功能设计师、数据工程师等，本公开对此不做具体限定。
在一种可能的实现方式中，私有云红区包括：数据可视化服务；数据可视化服务，用于对目标存储中的数据进行可视化处理，得到可视化结果，其中，目标存储为私有云数据湖、私有云数据仓库、私有云数据市场中的至少一个，可视化结果包括下述至少之一：可视化关键数字、可视化图表、可视化颜色标注、可视化弹性数据。
如图7所示，私有云红区包括：数据可视化服务（Data Visualization Service）。如图7所示，数据可视化服务对目标存储中的数据进行可视化处理。这里的目标存储可以是私有云数据湖、私有云数据仓库、私有云数据市场中的任意一个或多个。可视化处理可以针对使用用户和使用场景，产生可视化关键性数字、各种可视化图标、可视化颜色标注、可视化弹性数据等可视化结果，以完成可视化目标，并且可视化结果可以提供流畅的叙事性，深入数据的理解能力。
在一种可能的实现方式中，私有云红区包括：数据洞察服务；数据洞察服务，用于对目标存储中的数据进行数据洞察分析，确定商业洞察指标，其中，目标存储为私有云数据湖、私有云数据仓库、私有云数据市场中的至少一个，商业洞察指标包括下述至少之一：用户体验优化、个人推荐、营销策略提炼、产品特色。
如图7所示，私有云红区包括：数据洞察服务（Data Insights Service）。如图7所示，数据洞察服务对目标存储中的数据进行数据洞察分析。这里的目标存储可以是私有云数据湖、私有云数据仓库、私有云数据市场中的任意一个或多个。数据洞察分析面向的使用用户包括：公司高层、产品、市场、销售、运营等团队，基于数据洞察分析，可以确定包括用户体验优化、个人推荐、营销策略提炼、产品特色中的一个或多个的商业洞察指标，以辅助使用用户进行商业决策。
在本公开实施例中，GPU数据分析系统包括：GPU客户端、公有云和私有云；GPU客户端收集包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据的目标GPU数据；公有云接收并存储GPU客户端上传的目标GPU数据；私有云从公有云获取目标GPU数据，以及对目标GPU数据进行数据分析，得到数据分析结果。基于本公开实施例的GPU数据分析系统，能够利用GPU客户端，在确保数据隐私安全的情况下全面收集GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据等GPU数据，利用公有云和私有云，能够有效为GPU数据的存储、迁移、以及数据分析提供通用的标准流程，进而后续能够基于分析结果对GPU性能、运维等方面进行改进。
可以理解，本公开提及的上述各个实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述描述中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种GPU数据分析系统，相应技术方案和描述和参见系统部分的相应记载，不再赘述。
该方法与计算机系统的内部结构存在特定技术关联，且能够解决如何提升硬件运算效率或执行效果的技术问题（包括减少数据存储量、减少数据传输量、提高硬件处理速度等），从而获得符合自然规律的计算机系统内部性能改进的技术效果。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述系统。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以运行上述系统。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器运行上述系统。
电子设备可以被提供为终端、服务器或其它形态的设备。
图8示出根据本公开实施例的一种电子设备的框图。参照图8，电子设备1900可以被提供为一服务器或终端设备。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统（Windows ServerTM），苹果公司推出的基于图形用户界面操作系统(Mac OS XTM)，多用户多进程的计算机操作系统（UnixTM），自由和开放原代码的类Unix操作系统（LinuxTM），开放原代码的类Unix操作系统（FreeBSDTM）或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是（但不限于）电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (26)

1.一种GPU数据分析系统，其特征在于，所述系统包括：
GPU客户端，用于收集目标GPU数据，其中，所述目标GPU数据包括GPU硬件数据、GPU软件数据、GPU使用环境数据、GPU用户数据；
公有云，用于接收并存储所述GPU客户端上传的所述目标GPU数据；
私有云，用于从所述公有云获取所述目标GPU数据，以及对所述目标GPU数据进行数据分析，得到数据分析结果。
2.根据权利要求1所述的系统，其特征在于，所述GPU客户端包括：硬件GPU、元数据收集服务、日志数据收集服务、跟踪数据收集服务、性能指标数据收集服务。
3.根据权利要求2所述的系统，其特征在于，所述GPU硬件数据包括下述至少之一：所述硬件GPU的配置数据、所述硬件GPU的日志数据、所述硬件GPU的跟踪数据、所述硬件GPU的性能指标数据；
所述元数据收集服务，用于收集所述硬件GPU的配置数据；
所述日志数据收集服务，用于收集所述硬件GPU的日志数据；
所述跟踪数据收集服务，用于收集所述硬件GPU的跟踪数据；
所述性能指标数据收集服务，用于收集所述硬件GPU的性能指标数据。
4.根据权利要求2所述的系统，其特征在于，所述GPU客户端包括：所述硬件GPU对应的GPU软件；所述GPU软件数据包括下述至少之一：所述GPU软件的配置数据、所述GPU软件的日志数据、所述GPU软件的性能指标数据；
所述元数据收集服务，用于收集所述GPU软件的配置数据；
所述日志数据收集服务，用于收集所述GPU软件的日志数据；
所述性能指标数据收集服务，用于收集所述GPU软件的性能指标数据。
5.根据权利要求2所述的系统，其特征在于，所述GPU客户端包括：所述硬件GPU工作时所需依赖的关联硬件；所述GPU使用环境数据包括下述至少之一：所述关联硬件的配置数据、所述关联硬件的性能指标数据；
所述元数据收集服务，用于收集所述关联硬件的配置数据；
所述性能指标数据收集服务，用于收集所述关联硬件的性能指标数据。
6.根据权利要求2所述的系统，其特征在于，所述GPU客户端包括：所述硬件GPU的使用用户；所述GPU用户数据包括下述至少之一：所述使用用户的用户画像数据、所述使用用户的用户行为数据；
所述元数据收集服务，用于收集所述用户画像数据；
所述性能指标数据收集服务，用于收集所述用户行为数据。
7.根据权利要求2至6中任意一项所述的系统，其特征在于，所述GPU客户端包括：数据收集器；
所述数据收集器，用于从所述元数据收集服务、所述日志数据收集服务、所述跟踪数据收集服务、所述性能指标数据收集服务中的至少之一获取所述目标GPU数据；
所述数据收集器，用于对所述目标GPU数据进行数据压缩，得到压缩数据，以及将所述压缩数据上传至所述公有云。
8.根据权利要求7所述的系统，其特征在于，所述公有云包括：GPU数据收集服务、GPU数据流生成器、公有云分布式数据流平台；
所述GPU数据收集服务，用于接收所述压缩数据，并对所述压缩数据进行数据解压缩，得到所述目标GPU数据，以及将所述目标GPU数据发送至所述GPU数据流生成器；
所述GPU数据流生成器，用于生成所述目标GPU数据对应的GPU数据流，以及将所述GPU数据流发送至所述公有云分布式数据流平台。
9.根据权利要求8所述的系统，其特征在于，所述公有云包括：GPU数据流消费器、第一数据校验器；
所述GPU数据流消费器，用于从所述公有云分布式数据流平台获取所述GPU数据流，并将所述GPU数据流恢复为所述目标GPU数据，以及将所述目标GPU数据发送至所述第一数据校验器；
所述第一数据校验器，用于对所述目标GPU数据进行数据校验。
10.根据权利要求9所述的系统，其特征在于，所述公有云包括：公有云分布式对象存储、公有云事务性数据库；
所述GPU数据流消费器，用于在校验通过后，根据所述目标GPU数据生成目标数据块，以及将所述目标数据块发送至所述公有云分布式对象存储进行存储；
所述GPU数据流消费器，用于生成所述目标数据块对应的目标元数据，以及将所述目标元数据发送至所述公有云事务性数据库进行存储。
11.根据权利要求10所述的系统，其特征在于，所述公有云包括：数据块任务搬运队列；
所述GPU数据流消费器，用于根据所述目标元数据，生成数据块搬运任务，以及将所述数据块搬运任务发送至所述数据块搬运任务队列。
12.根据权利要求11所述的系统，其特征在于，所述私有云包括：私有云绿区、私有云黄区、私有云红区；
所述私有云红区的安全等级高于所述私有云黄区，所述私有云黄区的安全等级高于所述私有云绿区。
13.根据权利要求12所述的系统，其特征在于，所述私有云绿区包括：数据块搬运规划器、数据块搬运资源池、数据搬运器；
所述数据块搬运规划器，用于从所述数据块任务搬运队列中获取所述数据块搬运任务，并从所述数据块搬运资源池中申请所述数据块搬运任务对应的目标资源，以及将所述数据块搬运任务和所述目标资源发送至所述数据搬运器；
所述数据搬运器，用于利用所述目标资源，从所述公有云事务性数据库中获取所述数据搬运任务对应的所述目标元数据；
所述数据搬运器，用于利用所述目标资源，从所述公有云分布式对象存储中获取所述目标元数据对应的所述目标数据块。
14.根据权利要求13所述的系统，其特征在于，所述私有云绿区包括：第二数据校验器、私有云绿区分布式对象存储、私有云绿区事务性数据库；
所述数据搬运器，用于将所述目标数据块和所述目标元数据发送至所述第二数据校验器；
所述第二数据校验器，用于对根据所述目标元数据对所述目标数据块进行数据校验；
所述数据搬运器，用于在校验通过后，将所述目标数据块发送至所述私有云绿区分布式对象存储进行存储，以及将所述目标元数据发送至所述私有云绿区事务性数据库进行存储。
15.根据权利要求14所述的系统，其特征在于，所述私有云绿区包括：ETL任务队列；
所述数据搬运器，用于根据所述目标数据块和所述目标元数据，生成ETL任务，以及将所述ETL任务发送至所述ETL任务队列。
16.根据权利要求15所述的系统，其特征在于，所述私有云黄区包括：ETL器、ETL管线；
所述ETL器，用于从所述ETL任务队列中获取所述ETL任务，以及从所述私有云绿区分布式对象存储中获取所述ETL任务对应的所述目标数据块，从所述私有云绿区事务性数据库中获取所述ETL任务对应的所述目标元数据，以及根据所述目标元数据对所述目标数据块进行数据校验；
所述ETL器，用于在校验通过之后，根据所述目标数据块的类别，创建ETL管线实例，以及将所述ETL管线实例发送至所述ETL管线，其中，所述ETL管线实例中包括所述目标数据块。
17.根据权利要求16所述的系统，其特征在于，所述私有云黄区包括：数据抽取服务、数据转换服务、数据加载服务、ETL数据流生成器；
所述ETL管线，用于将所述ETL管线实例发送至所述数据抽取服务；
所述数据抽取服务，用于按照第一预设规则对所述目标数据块进行数据抽取，得到抽取后数据，以及将所述抽取后数据发送至所述数据转换服务；
所述数据转换服务，用于按照第二预设规则对所述抽取后数据进行数据转换，得到转换后数据，以及将所述转换后数据发送至数据加载服务；
所述数据加载服务，用于将所述转换后数据发送至所述ETL数据流生成器。
18.根据权利要求17所述的系统，其特征在于，所述私有云红区包括：私有云红区分布式数据流平台；
所述ETL数据流生成器，用于生成所述转换后数据对应的ETL数据流，以及将所述ETL数据流发送至所述私有云红区分布式数据流平台。
19.根据权利要求18所述的系统，其特征在于，所述私有云红区包括：ETL数据消费器、第三数据校验器；
所述ETL数据消费器，用于从所述私有云红区分布式数据流平台获取所述ETL数据流，并将所述ETL数据流转换为ETL数据，以及将所述ETL数据发送至所述第三数据校验器，其中，所述ETL数据用于指示对所述目标数据块和所述目标元数据执行ETL处理后的GPU数据；
所述第三数据校验器，用于对所述ETL数据进行数据校验。
20.根据权利要求19所述的系统，其特征在于，所述私有云红区包括：私有云数据湖、私有云数据仓库、私有云数据市场；
所述ETL数据消费器，用于在校验通过后，将所述ETL数据发送至所述私有云数据湖进行存储，将所述ETL数据中包括的结构化数据发送至所述私有云数据仓库进行存储，以及将所述ETL数据中包括的单一业务线相关数据发送至所述私有云数据市场进行存储。
21.根据权利要求20所述的系统，其特征在于，所述私有云红区包括：数据质量控制器；
所述数据质量控制器，用于对目标存储中的数据进行质量检测，得到质量检测结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个。
22.根据权利要求20所述的系统，其特征在于，所述私有云红区包括：数据分析服务；
所述数据分析服务，用于对目标存储中的数据进行数据分析，得到数据分析结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述数据分析包括下述至少之一：数据挖掘、机器学习、数据建模、数据分割。
23.根据权利要求20所述的系统，其特征在于，所述私有云红区包括：数据可视化服务；
所述数据可视化服务，用于对目标存储中的数据进行可视化处理，得到可视化结果，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述可视化结果包括下述至少之一：可视化关键数字、可视化图表、可视化颜色标注、可视化弹性数据。
24.根据权利要求20所述的系统，其特征在于，所述私有云红区包括：数据洞察服务；
所述数据洞察服务，用于对目标存储中的数据进行数据洞察分析，确定商业洞察指标，其中，所述目标存储为所述私有云数据湖、所述私有云数据仓库、所述私有云数据市场中的至少一个，所述商业洞察指标包括下述至少之一：用户体验优化、个人推荐、营销策略提炼、产品特色。
25.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以运行权利要求1至24中任意一项所述的系统。
26.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至24中任意一项所述的系统。
CN202310813507.8A 2023-07-04 2023-07-04 一种gpu数据分析系统、电子设备和存储介质 Pending CN116521379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310813507.8A CN116521379A (zh) 2023-07-04 2023-07-04 一种gpu数据分析系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310813507.8A CN116521379A (zh) 2023-07-04 2023-07-04 一种gpu数据分析系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116521379A true CN116521379A (zh) 2023-08-01

Family

ID=87408618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310813507.8A Pending CN116521379A (zh) 2023-07-04 2023-07-04 一种gpu数据分析系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116521379A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
US11308114B1 (en) * 2013-12-23 2022-04-19 Cazena, Inc. Platform for provisioning a data analytics environment
CN115878629A (zh) * 2023-01-04 2023-03-31 摩尔线程智能科技(北京)有限责任公司 一种gpu跟踪数据服务系统、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308114B1 (en) * 2013-12-23 2022-04-19 Cazena, Inc. Platform for provisioning a data analytics environment
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
CN115878629A (zh) * 2023-01-04 2023-03-31 摩尔线程智能科技(北京)有限责任公司 一种gpu跟踪数据服务系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11386128B2 (en) Automatic feature learning from a relational database for predictive modelling
US11694094B2 (en) Inferring digital twins from captured data
US10572818B2 (en) Horizontal decision tree learning from very high rate data streams with horizontal parallel conflict resolution
US11551123B2 (en) Automatic visualization and explanation of feature learning output from a relational database for predictive modelling
US20210150315A1 (en) Fusing Multimodal Data Using Recurrent Neural Networks
US20210174189A1 (en) Optimization Framework for Real-Time Rendering of Media Using Machine Learning Techniques
US20200104753A1 (en) Interactive visualization evaluation for classification models
CN113965389B (zh) 一种基于防火墙日志的网络安全管理方法、设备及介质
CN113610240A (zh) 利用嵌套机器学习模型来执行预测的方法及系统
CN111563267A (zh) 用于联邦特征工程数据处理的方法和装置
CN111985831A (zh) 云计算资源的调度方法、装置、计算机设备及存储介质
CN112148766A (zh) 利用人工神经网络模型进行数据抽样的方法和系统
KR102359090B1 (ko) 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템
KR20150056258A (ko) 생산성을 향상시킬 수 있는 정형 및 비정형의 빅데이터 엔진 및 처리 방법
US11526345B2 (en) Production compute deployment and governance
US11860727B2 (en) Data quality-based computations for KPIs derived from time-series data
US10693736B2 (en) Real time simulation monitoring
CN111737371A (zh) 可动态预测的数据流量检测分类方法及装置
CN116521379A (zh) 一种gpu数据分析系统、电子设备和存储介质
US20230139396A1 (en) Using learned physical knowledge to guide feature engineering
CN113806416B (zh) 实时数据服务的实现方法、装置及电子设备
CN115186738A (zh) 模型训练方法、装置和存储介质
CN115048561A (zh) 推荐信息确定方法及装置、电子设备和可读存储介质
CN117827842B (zh) 基于hana数据库的业务场景数据建模的异常检测方法和系统
US20230237222A1 (en) Learning Optimization Constraints Through Knowledge Based Data Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination