CN117216548A

CN117216548A - 推荐数据评估模型的构建方法、推荐数据评估方法和装置

Info

Publication number: CN117216548A
Application number: CN202310654844.7A
Authority: CN
Inventors: 曹炜; 邹方圆
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2023-06-05
Filing date: 2023-06-05
Publication date: 2023-12-12

Abstract

本申请涉及一种推荐数据评估模型的构建方法、推荐数据评估方法、装置、设备和存储介质。所述方法涉及人工智能，包括：基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，基于各第一推荐样本进行两两组合，构建多个第一推荐样本偏序对。基于各第一推荐样本筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，基于各第二推荐样本进行两两组合，构建多个第二推荐样本偏序对。根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。采用本方法实现了针对不同对象的精准推广，并提升了精准推荐带来的正向效益。

Description

推荐数据评估模型的构建方法、推荐数据评估方法和装置

技术领域

本申请涉及人工智能技术领域，特别是涉及一种推荐数据评估模型的构建方法、推荐数据评估方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着人工智能技术的发展，以及各类应用程序或平台的推广应用，在实际应用过程中，为加强在应用程序或平台上的产品、业务的推广，为推广方带来在应用程序或平台上的实际效益，需要确定出与不同待推广对象更匹配的推荐数据，从而实现精准推广。

传统技术中，针对推广方的同一个产品或业务，在不同应用平台或程序上，对不同的推广对象进行推广时，可分别设置与推广对象对应的多个候选推广数据，并通过对各候选推广数据进行评分，获得评分最高的推广数据，以进行精准推广。

然而，利用传统的推广方式进行产品或业务的推广时，由于推广方还可采用将同一推广数据下的不同创意数据进行展开，重复创建成单创意推广数据，来进行产品和业务的推广的方式，容易出现无法确定各单创意推广数据是否属于相同的推广数据，而导致的重复推荐，且在获取针对推广数据的推广反馈数据，并针对推广反馈数据进行推广效果评估时，容易出现重复推荐导致的评估误差，无法准确获得每个推广数据对应的评分和推广效果。因此，传统的推广方式仍然存在由于确定的推广数据的评估结果不准确，导致的推广数据的精准度较低问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升对推广数据的评估结果的准确度，以提升推广数据精准度的推荐数据评估模型的构建方法、推荐数据评估方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种推荐数据评估模型的构建方法。所述方法包括：

获取对象特征样本和各推荐特征样本，并基于所述对象特征样本和各所述推荐特征样本，确定相同推荐请求的各第一推荐样本；

基于各所述第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对；

根据预设样本约束条件，对各所述第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本；

基于各所述第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对；

根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。

第二方面，本申请提供了一种推荐数据评估方法。所述方法包括：

接收推荐数据评估请求，并获取与所述推荐数据评估请求对应的对象特征，以及与所述推荐数据评估请求关联的各候选推荐数据特征；各候选推荐数据特征携带相同的推广数据标识；

根据训练好的推荐数据评估模型，对所述对象特征以及各所述候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与所述对象特征匹配的目标推荐数据；

其中，所述训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的；其中，各所述第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，各所述第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的；各所述第一推荐样本是基于所述对象特征样本和所述推荐特征样本，确定得到的，各所述第二推荐样本，是根据预设样本约束条件，对各所述第一推荐样本进行筛选得到的。

第三方面，本申请还提供了一种推荐数据评估模型的构建装置。所述装置包括：

第一推荐样本确定模块，用于获取对象特征样本和各推荐特征样本，并基于所述对象特征样本和各所述推荐特征样本，确定相同推荐请求的各第一推荐样本；

第一推荐样本偏序对构建模块，用于基于各所述第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对；

第二推荐样本获得模块，用于根据预设样本约束条件，对各所述第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本；

第二推荐样本偏序对构建模块，用于基于各所述第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对；

推荐数据评估模型获得模块，用于根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。

第四方面，本申请还提供了一种推荐数据评估装置。所述装置包括：

推荐数据评估请求接收模块，用于接收推荐数据评估请求，并获取与所述推荐数据评估请求对应的对象特征，以及与所述推荐数据评估请求关联的各候选推荐数据特征；各候选推荐数据特征携带相同的推广数据标识；

目标推荐数据确定模块，用于根据训练好的推荐数据评估模型，对所述对象特征以及各所述候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与所述对象特征匹配的目标推荐数据；其中，所述训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的；其中，各所述第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，各所述第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的；各所述第一推荐样本是基于所述对象特征样本和所述推荐特征样本，确定得到的，各所述第二推荐样本，是根据预设样本约束条件，对各所述第一推荐样本进行筛选得到的。

第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

第六方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

第七方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

第八方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

第九方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

第十方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

上述推荐数据评估模型的构建方法、推荐数据评估方法、装置、计算机设备、存储介质和计算机程序产品中，通过获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，以基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。而根据预设样本约束条件，对各第一推荐样本进行筛选，可筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，进而基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对，从而可获得不同层次的推荐样本偏序对。进一步地，根据不同层次的各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，以在训练过程中，使得初始评估模型可学习相同预设样本约束条件下，不同推荐样本之间的信息差异，从而可提升模型在进行推荐数据评估时的评估结果的准确度。其中，若在训练过程中，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型，从而可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并对目标推荐数据进行展示和推荐，从而提升针对不同对象进行精准的目标推荐数据的推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

附图说明

图1为一个实施例中推荐数据评估模型的构建方法、推荐数据评估方法的应用环境图；

图2为一个实施例中推荐数据评估模型的构建方法的流程示意图；

图3为另一个实施例中推荐数据评估模型的构建方法的流程示意图；

图4为一个实施例中构建得到多个第一推荐样本偏序对的过程示意图；

图5为再一个实施例中推荐数据评估模型的构建方法的流程示意图；

图6为一个实施例中构建得到多个第二推荐样本偏序对的过程示意图；

图7为又一个实施例中推荐数据评估模型的构建方法的流程示意图；

图8为一个实施例中推荐数据评估模型的架构示意图；

图9为一个实施例中推荐数据评估方法的流程示意图；

图10为一个实施例中获得与对象特征匹配的目标推荐数据的流程示意图；

图11为一个实施例中基于推荐数据评估模型确定目标推荐数据的过程示意图；

图12为一个实施例中推荐数据评估模型的构建装置的结构框图；

图13为一个实施例中推荐数据评估装置的结构框图；

图14为一个实施例中推荐数据精准推广系统的框架示意图；

图15为一个实施例中推荐数据精准推广系统的数据流处理示意图；

图16为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的推荐数据评估模型的构建方法、推荐数据评估方法，具体涉及人工智能技术，可应用于云技术、人工智能、智慧交通、网络媒体以及辅助驾驶等各种场景。其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答以及知识图谱等技术。而机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析以及算法复杂度理论等多门学科，用于专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习以及式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的推荐数据评估模型的构建方法、推荐数据评估方法，具体涉及人工智能技术中的计算机视觉、自然语言处理和机器学习等技术，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备以及飞行器等，物联网设备可为智能音箱、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不对此进行限制。

其中，终端102和服务器104均可单独用于执行本申请实施例中提供的推荐数据评估模型的构建方法、推荐数据评估方法，终端102和服务器104也可以协同执行本申请实施例提供的推荐数据评估模型的构建方法、推荐数据评估方法。举例来说，以终端102和服务器104协同执行本申请实施例提供的推荐数据评估模型的构建方法为例，服务器104通过获取对象特征样本和各推荐特征样本，基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，并基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。同样地，服务器104根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，并基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对。其中，对象特征样本、各推荐特征样本、各第一推荐样本、各第一推荐样本偏序对、各第二推荐样本以及各第二推荐样本偏序对等，可存储在服务器104的云端存储中、或数据存储系统中、或终端102的本地存储中，当需要构建推荐数据评估模型时，可从服务器104、或数据存储系统、或终端102中获取。

进一步地，服务器104根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，则获得训练好的推荐数据评估模型。其中，服务器104基于训练好的推荐数据评估模型，可对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，以获得与对象特征匹配的目标推荐数据，进行展示，提及进一步的推广、推荐处理。

同样地，以终端102和服务器104协同执行本申请实施例提供的推荐数据评估方法为例，服务器104通过接收终端102触发的推荐数据评估请求，并获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的、携带相同的推广数据标识的各候选推荐数据特征。其中，对象特征以及各候选推荐数据特征等，均可存储在服务器104的云端存储中、或数据存储系统中、或终端102的本地存储中，当需要进行推荐数据评估处理时，可从服务器104、或数据存储系统、或终端102中获取。进一步地，服务器104根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据。

其中，训练好的数据评估模型，是服务器104根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的。其中，各第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，而各第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的。进一步地，各第一推荐样本是基于对象特征样本和推荐特征样本，确定得到的，而各第二推荐样本，是根据预设样本约束条件，对各第一推荐样本进行筛选得到的。

在一个实施例中，如图2所示，提供了一种推荐数据评估模型的构建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本。

其中，对象特征样本，具体可以是采集的进行广告推广的各使用对象的特征数据，包括使用对象的基础特征，比如性别、年龄以及所处地域等基础数据，还包括使用对象在不同应用平台或应用程序上的历史交互特征，包括针对所推广的广告数据的历史点击记录、历史访问记录等，以及针对与所推广的广告数据管理的业务或产品的业务申请记录、产品购买记录等数据。

推荐特征样本，具体可以是针对推广方所需要的业务或产品构建的广告推荐数据，以及每一广告推荐数据对应的广告创意数据。其中，每一广告数据通常可以设置多个广告创意数据，以适配不同的推广对象群和不同的推广场景。具体来说，本申请实施例中的推荐特征样本中，每一广告推荐数据携带的是通过精排模型进行打分后得到的最高得分的广告创意数据。其中，广告创意数据可以理解为针对同一待推广的产品或业务，设置的由不同的广告内容以广告素材组合得到的广告创意内容。

具体地，通过获取包括使用对象的基础特征、以及在在不同应用平台或应用程序上的历史交互特征等，作为使用对象的对象特征样本，以及通过获取针对推广方所需要的业务或产品构建的各广告推荐数据，以及每一广告推荐数据对应的最高得分的广告创意数据，得到多个推荐特征样本。

其中，具体是基于初始评估模型的对象特征塔，对所获得的对象特征样本进行特征识别处理，以获得与对象特征样本对应的对象特征向量。同样地，基于初始评估模型的推荐特征塔，对所获得的各推荐特征样本进行特征识别，以获得与推荐特征样本对应的推荐特征向量。

进一步地，通过获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，从而获得相同推荐请求下的各第一推荐样本。

具体来说，对象特征向量通常可对应多个推荐请求，即使用对象可触发针对不同的产品或业务等的多次浏览行为，则每一浏览行为通常可对应一个推荐请求，进而需要获取与对象特征向量对应的各推荐请求，并进一步确定出与每一推荐请求匹配的各推荐特征向量，以获得每一推荐请求各自对应的多个第一推荐样本。

其中，每一推荐请求通常可对应多个推荐特征向量，比如对于针对某产品触发的浏览行为对应的推荐请求，可根据对该产品的广告推荐内容的不同、广告元素的组合不同、以及广告的面向对象群不同，分别动态设置不同的广告创意数据，即每一推荐请求均可对应多个不同的推荐特征向量，进而针对每一推荐请求构建不同层次的样本偏序对时，需要分别准确、全面地确定出与每一推荐请求各自对应的多个推荐特征向量，以获得相同推荐请求下的各第一推荐样本，用以构建相同推荐请求下的各第一推荐样本偏序对。同时，还需针对所确定出的相同推荐请求下的各第一推荐样本，进行进一步筛选，以获得相同推荐请求下、携带相同约束标识的各第二推荐样本，用以构建相同推荐请求下、携带相同约束标识的各第二推荐样本偏序对。

在一个实施例中，初始评估模型具体可以是初始双塔模型，包括对象特征塔以及推荐特征塔，对象特征塔用于对对象特征样本进行特征识别处理，将对象特征转换为嵌入式向量表示，即获得对象特征向量(即user embedding)，而推荐特征塔用于各推荐特征样本进行特征识别，将推荐特征转换为嵌入式向量表示，即获得推荐特征向量(即adsembedding)。

其中，初始评估模型即初始双塔模型，其包括的对象特征塔以及推荐特征塔，具体可以是特征提取网络(比如DNN即深度神经网络、以及LSTM网络即长短期记忆网络等)。其中，针对初始评估模型，通过同时学习两个目标，比如包括Task A、Task B两个目标，针对两个目标分别构建不同的样本，且两个目标均使用pairwise loss(即配对法损失)进行学习。

具体来说，利用pairwise loss(即配对法损失)进行学习时，针对不同的目标分别构建各自对应的样本偏序对，比如针对Task A，基于相同推荐请求下的各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对，而针对Task B，基于相同推荐请求下，携带相同约束标识的各第二推荐样本，进行两两组合，构建得到的多个第二推荐样本偏序对。

可以理解的是，通过为两个目标构建各自的样本偏序对，并通过利用各自所构建的样本偏序对，实现对模型对相应目标的学习，最终通过综合考虑两个学习目标的损失，获得对初始评估模型进行训练的联合损失函数。

步骤S204，基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。

具体地，针对属于相同推荐请求的各第一推荐样本，进行两两组合，获得由每两个第一推荐样本构建得到的第一推荐样本偏序对，即得到多个第一推荐样本偏序对。

其中，由于模型训练过程中，具体是采用pairwise loss(即配对法损失)进行学习，则具体是需要采用pairwise loss的方式，即针对同一个查询(即同一个推荐请求)的多个推荐结果(即多个第一推荐样本)，分别随机将两个推荐结果进行组合作为一个样本对，即作为第一推荐样本偏序对，即可通过进行多次两两组合，得到多个第一推荐样本偏序对。

在一个实施例中，在基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对之前，还包括：

获取与各第一推荐样本对应的推荐资源消耗值；按照推荐资源消耗值的取值大小，对各第一推荐样本进行排序，获得排序后的各第一推荐样本。

具体地，与各第一推荐样本对应的推荐资源消耗值，具体可以理解为第一推荐样本对应的广告数据的展示付费出价数据，其中，展示付费具体可以是CPM(即Cost permillion，按千次展示付费)方式，即具体是获取第一推荐样本对应的广告数据按千次展示付费时的出价数据。

进一步，在获得各第一推荐样本对应的推荐资源消耗值后，即获得第一推荐样本对应的广告数据按千次展示付费时的出价数据后，进一步根据出价数据的取值大小，按照降序，即从大至小的方式，对各第一推荐样本进行排序，获得排序后的各第一推荐样本。

其中，具体是针对排序后的各第一推荐样本，分别进行两两组合，以构建得到多个第一推荐样本偏序对。

步骤S206，根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本。

其中，设置预设样本约束条件的目的，在于构造相同推荐请求下、同一广告数据内不同广告创意数据样本(即推荐样本)，且所构造的不同的广告创意数据样本(即推荐样本)只存在创意特征上的差异，即该些广告创意数据(即推荐样本)通常具有相同的样本约束条件，即携带相同的约束标识，相同的样本约束条件具体可以是相同的推广方(即广告主)、相同的推广产品(或推广业务)。

具体地，约束标识包括推荐产品标识和推广方标识，预设样本约束条件可以理解为需要筛选出推荐产品标识和推广方标识相同的第一推荐样本。其中，根据预设样本约束条件，对各第一推荐样本进行筛选时，则具体是通过获取各第一推荐样本携带的推荐产品标识、以及推广方标识，并根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

进一步地，通过筛选出相同推荐请求下，携带相同约束标识的各第二推荐样本，用以对初始评估模型进行训练，可使得模型在训练过程中，不断学习相同推荐请求下，相同样本约束条件下的广告数据的创意数据(即推荐数据)差异，从而使得后续训练好的推荐数据评估模型，可准确、全面对各候选推荐数据进行评估，获得准确的评估结果。

步骤S208，基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对。

具体地，针对属于相同推荐请求下，携带相同约束标识的各第二推荐样本，进行两两组合，获得由每两个第二推荐样本构建得到的第二推荐样本偏序对，即得到多个第二推荐样本偏序对。其中，携带相同约束标识的各第二推荐样本，可以理解为是符合相同样本约束条件的各第二推荐样本，构建得到的一个样本组，即具体是基于构建得到的符合相同样本约束条件的样本组，进行两两组合。

其中，由于模型训练过程中，具体是采用pairwise loss(即配对法损失)进行学习，则具体是需要采用pairwise loss的方式，即针对同一个查询(即同一个推荐请求)、且携带相同约束标识的多个推荐结果(即多个第二推荐样本)，分别随机将两个推荐结果进行组合作为一个样本对，即作为第二推荐样本偏序对，即可通过进行多次两两组合，得到多个第二推荐样本偏序对。

在一个实施例中，在基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对之前，还包括：

获取与各第二推荐样本对应的点击率和转化率，并根据点击率和转化率，确定与各第二推荐样本对应的点击且转化率；按照点击且转化率的取值大小，对各第二推荐样本进行排序，获得排序后的各第二推荐样本。

其中，第二推荐样本对应的点击率(即CTR，全称为Click Through Rate)，具体是根据对各第二推荐样本的点击量、以及各第二推荐样本的曝光量之间的比值，计算得到的。其中，各第二推荐样本的曝光量，具体可以理解为对第二推荐样本进行推广时，确定实际推送达到的使用对象数，而对各第二推荐样本的点击量，则可以理解为是在接收到第二推荐样本后，进一步触发了点击访问操作的使用对象数。

第二推荐样本对应的转化率(即CVR，全称为Conversion Rate)，具体是根据对各第二推荐样本的转化量、以及各第二推荐样本的点击量之间的比值，计算得到的。其中，各第二推荐样本的转化量，可以理解为触发了点击访问操作后，进一步触发了转化行为(比如产品购买、业务申请等行为)的使用对象数。

而与第二推荐样本对应的点击且转化率(即CTCVR，全称为Click Through&Conversion Rate)，具体是根据对各第二推荐样本的转化率、以及对各第二推荐样本的点击率之间乘积，计算得到的。

具体地，通过获取与各第二推荐样本对应的点击率和转化率，并计算各第二推荐样本对应的点击率和转化率之间的乘积，获得与各第二推荐样本对应的点击且转化率。

进一步地，在获得各第二推荐样本的点击且转化率之后，进一步按照点击且转化率的取值大小，按照降序，即从大至小的方式，对各第二推荐样本进行排序，获得排序后的各第二推荐样本。

其中，具体是针对排序后的各第二推荐样本，分别进行两两组合，以构建得到多个第二推荐样本偏序对。

步骤S210，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。

具体地，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，并在训练过程中，确定根据各第一推荐样本偏序对，对初始评估模型进行训练时的第一损失函数，以及确定根据各第二推荐样本偏序对，对初始评估模型进行训练时的第二损失函数。

其中，初始评估模型具体可以是初始双塔模型，包括对象特征塔以及推荐特征塔，对象特征塔用于对对象特征样本进行特征识别处理，而推荐特征塔用于各推荐特征样本进行特征识别，在训练过程中，初始评估模型的两个塔同时学习两个目标，且两个目标均使用pairwise loss(即配对法损失)进行学习。

具体来说，初始评估模型学习的两个目标包括Task A、Task B，针对两个目标分别构建不同的样本。其中，Task A是基于广告间样本的eCPM序进行学习，其中，广告间样本具体可以理解为是相同推荐请求下的各广告数据、及其对应的广告创意数据样本，即相同推荐请求下的每个广告数据携带一个广告创意数据样本(即第一推荐样本)，而广告间样本的eCPM序，则指的对根据广告间样本(即广告数据及其携带的广告创意数据样本)，按照eCPM(即CPM出价，具体理解为广告数据按千次展示付费时的出价数据)降序，进行排序，所获得的各第一推荐样本。

同样地，Task B是基于广告内样本的PCTCVR序进行学习，其中，广告内样本，具体可以理解为相同推荐请求下、且携带相同约束标识(即相同推荐产品标识、或相同推广方标识)的各广告数据、及其对应的广告创意数据样本(即第二推荐样本)，即可以理解为将相同推荐请求下，携带相同约束标识的各广告数据及其广告创意数据样本，作为一个组合(即Group)，而广告内样本的PCTCVR序，则可以理解为针对该组合(即Group)内的数据，按照PCTCVR(即Click Through&Conversion Rate，点击且转化率)降序，进行排序，所获得的各第二推荐样本。

进一步地，在获得第一损失函数、以及第二损失函数后，获取针对第一损失函数设置的第一预设权重、以及针对第二损失函数设置的第二预设权重，并根据第一预设权重、以及第二预设权重，对第一损失函数和第二损失函数进行加权融合处理，获得联合损失函数。

其中，第一损失函数和第二损失函数，具体可以是BPRloss(即BayesianPersonalized Ranking loss，具体用于解决推荐系统中的物品排序问题，以帮助模型学习到适合使用对象的物品排序)，第一预设权重和第二预设权重，可根据实际业务场景进行调整和设置，不局限于具体取值。

具体来说，采用以下公式(1)，确定得到联合损失函数Loss：

Loss＝m*lossouter+n*lossinner(1)

其中，lossouter表示第一损失函数，lossinner表示第二损失函数，m表示第一预设权重，n表示第二预设权重。其中，lossouter、lossinner具体可以是BPRloss，计算具体损失值时采用相同的计算公式，但各自应用到的实际数据不同，即第一损失函数lossouter是基于各第一推荐样本偏序对，进行计算得到，而第二损失函数lossinner是基于各第二推荐样本偏序对，进行计算得到。

可以理解的是，第一预设权重m、第二预设权重n，可根据实际业务场景进行调整和设置，不局限于具体取值。其中，第一预设权重m、第二预设权重n的取值范围，具体可以是(0,1]的范围，且第一预设权重m、第二预设权重n可设置为1:1的形式，即第一预设权重m、第二预设权重n可以是(0,1]范围内的相同取值，比如均为1，或均为0.5、0.8等取值。

在一个实施例中，若确定联合损失函数满足训练结束条件，则获得训练好的推荐数据评估模型。

其中，通过设置联合损失函数，可使得模型在训练过程中的训练损失值尽可能小，从而使得训练好的模型能具有更高的模型精度，以及评估准确度。而训练结束条件，具体可以是联合损失函数值达到预设损失阈值，比如联合损失函数值低于某预设损失阈值时，表明当前模型的模型精度最佳，进而确定当前达到模型训练结束条件，并将训练结束时的模型作为训练好的推荐数据评估模型，进一步提升了所获得的推荐数据评估模型的评估准确度。

在一个实施例，训练结束条件具体还可以是对初始评估模型的训练迭代次数，达到预设迭代次数阈值，即当确定对初始评估模型的训练迭代次数，达到预设迭代次数阈值时，确定当前满足模型训练结束条件，获得训练好的推荐数据评估模型。其中，预设迭代次数阈值，可根据实际业务需求进行调整和设置，不局限于某个或某些具体取值。

上述推荐数据评估模型的构建方法中，通过获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，以基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。而根据预设样本约束条件，对各第一推荐样本进行筛选，可筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，进而基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对，从而可获得不同层次的推荐样本偏序对。进一步地，根据不同层次的各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，以在训练过程中，使得初始评估模型可学习相同预设样本约束条件下，不同推荐样本之间的信息差异，从而可提升模型在进行推荐数据评估时的评估结果的准确度。其中，若在训练过程中，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型，从而可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，提升了根据目标推荐数据进行精准推荐所带来的正向效益。

在一个实施例中，如图3所示，提供了一种推荐数据评估模型的构建方法，具体包括：

步骤S302，获取对象特征样本和各推荐特征样本，并基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量。

具体地，通过获取对象特征样本，具体包括使用对象的基础特征，比如性别、年龄以及所处地域等基础数据，还包括使用对象在不同应用平台或应用程序上的历史交互特征，比如针对所推广的广告数据的历史点击记录、历史访问记录等，以及针对与所推广的广告数据管理的业务或产品的业务申请记录、产品购买记录等数据，以及获取推荐特征样本，具体包括推广方所需要的业务或产品构建的广告推荐数据，以及每一广告推荐数据对应的广告创意数据，广告创意数据可以理解为针对同一待推广的产品或业务，设置的由不同的广告内容以广告素材组合得到的广告创意内容。

进一步地，初始评估模型具体可以是初始双塔模型，包括对象特征塔以及推荐特征塔，对象特征塔用于对对象特征样本进行特征识别处理，将对象特征转换为嵌入式向量表示，即获得对象特征向量(即user embedding)，而推荐特征塔用于各推荐特征样本进行特征识别，将推荐特征转换为嵌入式向量表示，即获得推荐特征向量(即ads embedding)。

步骤S304，获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本。

具体地，对象特征向量通常可对应多个推荐请求，即使用对象可触发针对不同的产品或业务等的多次浏览行为，则每一浏览行为通常可对应一个推荐请求，进而需要获取与对象特征向量对应的各推荐请求，并进一步确定出与每一推荐请求匹配的各推荐特征向量，以获得每一推荐请求各自对应的多个第一推荐样本。

步骤S306，获取与各第一推荐样本对应的推荐资源消耗值，并按照推荐资源消耗值的取值大小，对各第一推荐样本进行排序，获得排序后的各第一推荐样本。

具体地，与各第一推荐样本对应的推荐资源消耗值，具体可以理解为第一推荐样本对应的广告数据的展示付费出价数据，而展示付费具体可以是CPM(即Cost permillion，按千次展示付费)方式，则具体是获取第一推荐样本对应的广告数据按千次展示付费时的出价数据。

步骤S308，基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。

具体地，针对排序后的各第一推荐样本，分别进行两两组合，以构建得到多个第一推荐样本偏序对。

在一个实施例中，如图4所示，构建得到多个第一推荐样本偏序对的过程，具体可以包括：

获取与对象特征向量对应的多个推荐请求，得到请求列表，并获取每个推荐请求对应的多个广告数据，以及与每个广告数据对应的第一推荐样本(即广告创意数据)，并获取各第一推荐样本的推荐资源消耗值(即eCPM，理解为按千次展示付费时的出价数据)，将各第一推荐样本按照推荐资源消耗值降序(即eCPM降序)进行排序，获得排序后的各第一推荐样本(即eCPM降序的精排候选广告队列)。

进一步地，参照图4可知，针对排序后的各第一推荐样本，分别进行两两组合，以构建得到多个第一推荐样本偏序对，比如构建得到的第一推荐样本偏序对为pair：(eCPM_i，eCPM_j)，其中，eCPM_i、eCPM_j可以理解为是同一个推荐请求下的任意两个第一推荐样本。

其中，由于模型训练过程中，具体是采用pairwise loss(即配对法损失)进行学习，则基于各第一推荐样本偏序对，比如pair：(eCPM_i，eCPM_j)，对初始评估模型进行训练时，可根据第一推荐样本偏序对，确定训练过程中的第一损失函数(即lossouter，全称为outerpairwise loss)。

本实施例中，通过获取对象特征样本和各推荐特征样本，基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量。进一步地，通过获取与对象特征向量对应的各推荐请求，确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本，并按照各第一推荐样本的推荐资源消耗值的取值大小，对各第一推荐样本进行排序，获得排序后的各第一推荐样本，以基于各第一推荐样本进行两两组合，构建得到相同推荐请求下的多个第一推荐样本偏序对，从而在利用多个第一推荐样本偏序对，对初始评估模型进行训练时，可使得模型从相同推荐请求的层次，学习各第一推荐样本偏序对的特征，进一步提升训练好的推荐数据评估模型，对相同推荐请求的推荐数据的评估精准度。

在一个实施例中，如图5所示，提供了一种推荐数据评估模型的构建方法，具体包括：

步骤S502，获取对象特征样本和各推荐特征样本，并基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量。

具体地，获取使用对象的基础特征，比如性别、年龄以及所处地域等基础数据、以及使用对象在不同应用平台或应用程序上的历史交互特征，包括针对所推广的广告数据的历史点击记录、历史访问记录等，和针对与所推广的广告数据管理的业务或产品的业务申请记录、产品购买记录等数据，得到对象特征样本。

同样地，获得针对推广方所需要的业务或产品构建的广告推荐数据，以及每一广告推荐数据对应的广告创意数据，得到推荐特征样本。其中，每一广告数据通常可以设置多个广告创意数据，以适配不同的推广对象群和不同的推广场景。具体来说，本申请实施例中的推荐特征样本中，每一广告推荐数据携带的是通过精排模型进行打分后得到的最高得分的广告创意数据。

进一步地，基于初始评估模型的对象特征塔，对所获得的对象特征样本进行特征识别处理，以获得与对象特征样本对应的对象特征向量。同样地，基于初始评估模型的推荐特征塔，对所获得的各推荐特征样本进行特征识别，以获得与推荐特征样本对应的推荐特征向量。

步骤S504，获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本。

具体地，通过获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，从而获得相同推荐请求下的各第一推荐样本。

其中，对象特征向量通常可对应多个推荐请求，即使用对象可触发针对不同的产品或业务等的多次浏览行为，则每一浏览行为通常可对应一个推荐请求，进而需要获取与对象特征向量对应的各推荐请求，并进一步确定出与每一推荐请求匹配的各推荐特征向量，以获得每一推荐请求各自对应的多个第一推荐样本。

进一步地，每一推荐请求通常可对应多个推荐特征向量，比如对于针对某产品触发的浏览行为对应的推荐请求，可根据对该产品的广告推荐内容的不同、广告元素的组合不同、以及广告的面向对象群不同，分别动态设置不同的广告创意数据，即每一推荐请求均可对应多个不同的推荐特征向量，进而针对每一推荐请求构建不同层次的样本偏序对时，需要分别准确、全面地确定出与每一推荐请求各自对应的多个推荐特征向量，以获得相同推荐请求下的各第一推荐样本，用以构建相同推荐请求下的各第一推荐样本偏序对。

步骤S506，获取各第一推荐样本携带的推荐产品标识、以及推广方标识，并根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

具体地，根据预设样本约束条件，对各第一推荐样本进行筛选时，具体是通过获取各第一推荐样本携带的推荐产品标识、以及推广方标识，并根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

步骤S508，获取与各第二推荐样本对应的点击率和转化率，并根据点击率和转化率，确定与各第二推荐样本对应的点击且转化率。

具体地，通过确定与各第二推荐样本对应的点击率(即CTR，全称为Click ThroughRate，具体是根据对各第二推荐样本的点击量、以及各第二推荐样本的曝光量之间的比值，计算得到的)、以及转化率(即CVR，全称为Conversion Rate，具体是根据对各第二推荐样本的转化量、以及各第二推荐样本的点击量之间的比值，计算得到的)，并计算各第二推荐样本对应的点击率和转化率之间的乘积，获得与各第二推荐样本对应的点击且转化率(即CTCVR，全称为Click Through&Conversion Rate，具体是根据对各第二推荐样本的转化率、以及对各第二推荐样本的点击率之间乘积，计算得到的)。

步骤S510，按照点击且转化率的取值大小，对各第二推荐样本进行排序，获得排序后的各第二推荐样本。

具体地，在获得各第二推荐样本的点击且转化率之后，进一步按照点击且转化率的取值大小，按照降序，即从大至小的方式，对各第二推荐样本进行排序，获得排序后的各第二推荐样本。

步骤S512，基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对。

具体地，针对排序后的各第二推荐样本，分别进行两两组合，以构建得到多个第二推荐样本偏序对。

在一个实施例中，如图6所示，构建得到多个第二推荐样本偏序对的过程，具体包括：

获取与对象特征向量对应的多个推荐请求，得到请求列表，并获取与每个推荐请求对应的多个广告数据，以及与每个广告数据对应的第一推荐样本，并根据预设样本约束条件，对各第一推荐样本进行筛选，获得相同推荐请求下，携带相同约束标识(包括相同推荐产品标识、或相同推广方标识)的各第二推荐样本。

其中，参照图6可知，针对同一个推荐请求对应的多个广告数据，以及每个广告数据对应的第一推荐样本，按照预设样本约束条件进行进一步筛选时，可根据约束标识的不同，分别设置不同的表现方式，比如在图6中设置某种填充方式的样本为相同推荐产品标识的各第二推荐样本，设置另一种填充方式的样本为相同推广方标识的各第二推荐样本。

进一步地，基于各第一推荐样本进行进一步筛选，获得相同推荐请求下，携带相同约束标识(包括相同推荐产品标识、或相同推广方标识)的各第二推荐样本后，将相同约束标识，比如相同推荐产品标识、或相同推广方标识的各推荐样本作为一个组合(即Group)，并在相同约束标识的组合内(即Group)内，基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对。

其中，参照图6可知，针对相同推荐请求下，携带相同推荐产品标识的各第二推荐样本，按照各第二推荐样本的点击且转化率(即PCTCVR，Click Through&Conversion Rate)取值的降序，即从大至小的方式，对各第二推荐样本进行排序，获得排序后的各第二推荐样本(即PCTCVR降序的的精排候选广告队列)，并进一步针对排序后的各第二推荐样本，分别进行两两组合，以构建得到多个第二推荐样本偏序对，比如构建得到的第二推荐样本偏序对为pair：(PCTCVR_i，PCTCVR_j)，其中，PCTCVR_i、PCTCVR_j可以理解为是同一个推荐请求下、相同约束标识的任意两个第二推荐样本。

进一步地，由于模型训练过程中，具体是采用pairwise loss(即配对法损失)进行学习，则基于各第二推荐样本偏序对，比如pair：(PCTCVR_i，PCTCVR_j)，对初始评估模型进行训练时，可根据第二荐样本偏序对，确定训练过程中的第二损失函数(即lossinner，全称为inner pairwise loss)。

在一个实施例中，针对构建相同约束条件下的推荐样本的方式，还可以是针对不同推荐请求的相同广告数据而言，即针对不同使用对象触发的针对相同产品或业务的推荐请求，则属于携带相同的推荐产品标识、或携带相同的推广方标识的情况，则同样可基于不同推荐请求对应的广告数据，确定出相同推荐产品标识或相同推广方标识的推荐样本，从而基于不同推荐请求下、相同推荐产品标识或相同推广方标识的推荐样本，进行两两组合，构建得到推荐样本偏序对。

其中，结合图6可知，请求列表对应的不同推荐请求，且每一推荐请求各自对应一排推荐样本，则针对不同推荐请求构建推荐样本偏序对时，可跨推荐请求确定出携带相同推荐产品标识或相同推广方标识的推荐样本，并基于不同推荐请求下、相同推荐产品标识或相同推广方标识的推荐样本，进行两两组合，构建得到推荐样本偏序对。

本实施例中，通过获取对象特征样本和各推荐特征样本，并基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量。进一步地，通过获取与对象特征向量对应的各推荐请求，确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本，并获取各第一推荐样本携带的推荐产品标识、以及推广方标识，进而筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。其中，通过获取与各第二推荐样本对应的点击率和转化率，并根据点击率和转化率，可确定与各第二推荐样本对应的点击且转化率，进而可按照点击且转化率的取值大小，对各第二推荐样本进行排序，获得排序后的各第二推荐样本，以基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对，从而在利用多个第一推荐样本偏序对，对初始评估模型进行训练时，可使得模型从相同推荐请求、且相同约束标识的层次，学习各第二推荐样本偏序对的特征，进一步提升训练好的推荐数据评估模型，对相同推荐请求、且相同约束标识的各推荐数据的评估精准度。

在一个实施例中，如图7所示，提供了一种推荐数据评估模型的构建方法，具体包括：

步骤S701，获取对象特征样本和各推荐特征样本，并基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量。

步骤S702，获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本。

步骤S703，获取与各第一推荐样本对应的推荐资源消耗值，并按照推荐资源消耗值的取值大小，对各第一推荐样本进行排序，获得排序后的各第一推荐样本。

步骤S704，基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。

步骤S705，获取各第一推荐样本携带的推荐产品标识、以及推广方标识，并根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

步骤S706，获取与各第二推荐样本对应的点击率和转化率，并根据点击率和转化率，确定与各第二推荐样本对应的点击且转化率。

步骤S707，按照点击且转化率的取值大小，对各第二推荐样本进行排序，获得排序后的各第二推荐样本。

步骤S708，基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对。

步骤S709，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练。

步骤S710，确定根据各第一推荐样本偏序对，对初始评估模型进行训练时的第一损失函数，以及确定根据各第二推荐样本偏序对，对初始评估模型进行训练时的第二损失函数。

步骤S711，根据与第一损失函数对应的第一预设权重、以及与第二损失函数对应的第二预设权重，对第一损失函数和第二损失函数进行加权融合处理，获得联合损失函数。

步骤S712，若所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。

在一个实施例中，如图8所示，提供了一种推荐数据评估模型的模型架构，参照图8可知，推荐评估模型具体包括对象特征塔，用于对对象特征样本(即用户feature)进行拼接处理(即concat处理)后，再进行特征识别处理，以将对象特征转换为嵌入式向量表示，即获得对象特征向量(即user embedding)，还包括推荐特征塔，用于各推荐特征样本(即广告feature)进行拼接处理(即concat处理)后，再进行特征识别处理，将推荐特征转换为嵌入式向量表示，即获得推荐特征向量(即ads embedding)。

进一步地，参照图8可知，Task A是基于广告间样本的eCPM序进行学习，其中，广告间样本具体可以理解为是相同推荐请求下的各广告数据、及其对应的广告创意数据样本，即相同推荐请求下的每个广告数据携带一个广告创意数据样本(即第一推荐样本)，而广告间样本的eCPM序，则指的对根据广告间样本(即广告数据及其携带的广告创意数据样本)，按照eCPM(即CPM出价，具体理解为广告数据按千次展示付费时的出价数据)降序，进行排序，所获得的各第一推荐样本。

也就是说，Task A是基于各第一推荐样本进行学习，具体是采用pairwise loss(即配对法损失)进行学习，即基于各第一推荐样本构建各pair对(即各第一推荐样本偏序对)，并在训练过程中，确定根据各第一推荐样本偏序对，对初始评估模型进行训练时的第一损失函数。

同样地，参照图8可知，Task B是基于广告内样本的PCTCVR序进行学习，其中，广告内样本，具体可以理解为相同推荐请求下、且携带相同约束标识(即相同推荐产品标识、或相同推广方标识)的各广告数据、及其对应的广告创意数据样本(即第二推荐样本)，即可以理解为将相同推荐请求下，携带相同约束标识的各广告数据及其广告创意数据样本，作为一个组合(即Group)，而广告内样本的PCTCVR序，则可以理解为针对该组合(即Group)内的数据，按照PCTCVR(即Click Through&Conversion Rate，点击且转化率)降序，进行排序，所获得的各第二推荐样本。

也就是说，Task B是基于各第二推荐样本进行学习，具体是采用pairwise loss(即配对法损失)进行学习，即基于各第二推荐样本构建各pair对(即各第二推荐样本偏序对)，并在训练过程中，确定根据各第二推荐样本偏序对，对初始评估模型进行训练时的第二损失函数。

其中，参照图8可知，lossouter表示第一损失函数，lossinner表示第二损失函数，m表示第一预设权重，n表示第二预设权重，则具体是根据第一预设权重m，对第一损失函数lossouter加权，以及根据第二预设权重n，对第二损失函数lossinner，进行加权，并对加权后的第一损失函数lossouter、加权后的第二损失函数lossinner，进行求和，得到联合损失函数Loss。

上述推荐数据评估模型的构建方法中，通过获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，以基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。而根据预设样本约束条件，对各第一推荐样本进行筛选，可筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，进而基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对，从而可获得不同层次的推荐样本偏序对。进一步地，根据不同层次的各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，以在训练过程中，使得初始评估模型可学习相同预设样本约束条件下，不同推荐样本之间的信息差异，从而可提升模型在进行推荐数据评估时的评估结果的准确度。其中，若在训练过程中，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型，从而可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并对目标推荐数据进行展示和推荐，从而提升针对不同对象进行精准的目标推荐数据的推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

在一个实施例中，如图9所示，提供了一种推荐数据评估方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S902，接收推荐数据评估请求，并获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的各候选推荐数据特征，各候选推荐数据特征携带相同的推广数据标识。

具体地，通过接收推广方基于推广平台或推广程序等，所触发的推荐数据评估请求，则获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的各候选推荐数据特征。

其中，与推荐数据评估请求对应的对象特征，具体可以理解为推广方需要进行产品推广或业务推广时，各推广平台上、或应用程序上的各候选推广对象的特征数据。其中，各候选推广对象的特征数据，具体包括候选推广对象的基础特征，比如性别、年龄以及所处地域等基础数据，还包括候选推广对象在各应用平台或应用程序上的历史交互特征，包括针对所推广的广告数据的历史点击记录、历史访问记录等，以及针对与所推广的广告数据管理的业务或产品的业务申请记录、产品购买记录等数据。

而候选推荐数据特征，具体可以是针对推广方所需要的业务或产品构建的广告推荐数据，以及每一广告推荐数据对应的各广告创意数据。其中，各候选推荐数据特征携带相同的推广数据标识，即各候选推荐数据特征属于相同的广告数据，即属于同一个广告数据的不同的广告创意数据。

进一步地，广告创意数据可以理解为针对同一待推广的产品或业务，设置的广告数据下，由不同的广告内容以广告素材组合得到的不同广告创意内容，即每一广告数据通常可以设置多个广告创意数据，以适配不同的推广对象群和不同的推广场景，进而需要利用训练好的推荐数据评估模型，对各广告创意数据(即各候选推荐数据特征)进行评估和筛选，以获得与对象特征匹配的目标推荐数据。

步骤S904，根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据。

具体地，根据训练好的推荐数据评估模型的对象特征塔，对对象特征进行特征识别处理，获得与对象特征对应的对象特征向量。同样地，根据训练好的推荐数据评估模型的对象特征塔，对各候选推荐数据特征，进行特征识别处理，获得与候选推荐数据特征对应的候选推荐特征向量。

进一步地，根据训练好的推荐数据评估模型，基于对象特征向量、以及各候选推荐特征向量，进行推荐数据评估处理，即获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据。

其中，对象特征向量和每一候选推荐特征向量之间的推荐评估数据，具体可以是通过计算对象特征向量和每一候选推荐特征向量之间的向量内积，得到的。其中，对象特征向量和候选推荐特征向量之间的向量内积，可以理解为是对象特征向量和候选推荐特征向量之间的关联度评分值，即关联度评分值越高，则说明对象特征向量和该候选特征向量之间的关联度更高。

在一个实施例中，在获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据，即对象特征向量和候选推荐特征向量之间的向量内积后，进一步根据预设推荐条件，对各推荐评估数据进行筛选，获得推荐评估数据的评分数值满足预设推荐条件的候选推荐数据，确定为与对象特征匹配的目标推荐数据。

其中，预设推荐条件对应最大评分数值，满足预设推荐条件则具体可以是评分数值最大的推荐评估数据，即通过获取对象特征向量和每一候选推荐特征向量之间的推荐评估数据对应的实际评分数值，并基于各实际评分数值进行排序，确定出评分数值最大的推荐评估数据。

进一步地，由于所确定出的目标推荐数据，具体是同一个广告数据(即携带相同推广数据标识)中的其中一个广告创意数据，即具体是通过对同一个广告数据的多个广告创意数据进行打分，获得符合预设推荐条件的广告创意数据，即推荐评估数据的评分数值最高的候选推荐数据，作为与对象特征匹配的目标推荐数据。

在一个实施例中，训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的。

其中，各第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，而各第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的。其中，各第一推荐样本是基于对象特征样本和推荐特征样本，确定得到的，而各第二推荐样本，是根据预设样本约束条件，对各第一推荐样本进行筛选得到的。

在一个实施例中，在获得与对象特征匹配的目标推荐数据，即获得某广告数据、以及该广告数据下的最高评分数值的广告创意数据后，针对该广告数据及其对应的广告创意数据，通过广告精排模型比如MLR(即Mixed Logistic Regression，混合逻辑回归模型)，进行进一步打分，获得精排打分数据，以根据精排打分数据，对目标推荐数据进行进一步筛选，从而获得更准确、精准的推荐数据，以实现针对不同对象的精准推广，提升精准推荐带来的正向效益。

上述推荐数据评估方法中，通过接收推荐数据评估请求，并获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的、携带相同的推广数据标识的各候选推荐数据特征，并根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据。其中，训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的，而各第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，各第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的。其中，各第一推荐样本是基于对象特征样本和推荐特征样本，确定得到的，而各第二推荐样本，是根据预设样本约束条件，对各第一推荐样本进行筛选得到的。实现了可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并对目标推荐数据进行展示和推荐，从而提升针对不同对象进行精准的目标推荐数据的推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

在一个实施例中，如图10所示，获得与对象特征匹配的目标推荐数据的步骤，即根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据的步骤，具体包括：

步骤S1002，根据训练好的推荐数据评估模型的对象特征塔、以及推荐特征塔，分别对对象特征以及各候选推荐数据特征，进行特征识别，获得与对象特征对应的对象特征向量、以及与候选推荐数据特征对应的候选推荐特征向量。

具体地，通过接收推广方基于推广平台或推广程序等，所触发的推荐数据评估请求，则获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的各候选推荐数据特征，并根据训练好的推荐数据评估模型的对象特征塔，对对象特征进行特征识别处理，获得与对象特征对应的对象特征向量。同样地，根据训练好的推荐数据评估模型的对象特征塔，对各候选推荐数据特征，进行特征识别处理，获得与候选推荐数据特征对应的候选推荐特征向量。

同样地，候选推荐数据特征，具体可以是针对推广方所需要的业务或产品构建的广告推荐数据，以及每一广告推荐数据对应的各广告创意数据。其中，各候选推荐数据特征携带相同的推广数据标识，即各候选推荐数据特征属于相同的广告数据，即属于同一个广告数据的不同的广告创意数据。而广告创意数据可以理解为针对同一待推广的产品或业务，设置的广告数据下，由不同的广告内容以广告素材组合得到的不同广告创意内容，即每一广告数据通常可以设置多个广告创意数据，以适配不同的推广对象群和不同的推广场景。

步骤S1004，基于对象特征向量、以及各候选推荐特征向量，进行推荐数据评估处理，获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据。

具体地，根据训练好的推荐数据评估模型，基于对象特征向量、以及各候选推荐特征向量，进行推荐数据评估处理，即获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据。

其中，对象特征向量和每一候选推荐特征向量之间的推荐评估数据，具体可以是通过计算对象特征向量和每一候选推荐特征向量之间的向量内积，得到的。可以理解的是，通过计算出对象特征向量和每一候选推荐特征向量之间的向量内积，即获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据。

步骤S1006，根据预设推荐条件，对各推荐评估数据进行筛选，获得推荐评估数据的评分数值满足预设推荐条件的候选推荐数据，确定为与对象特征匹配的目标推荐数据。

具体地，通过获取各推荐评估数据的评分数值，根据预设推荐条件，对各推荐评估数据进行筛选，获得推荐评估数据的评分数值满足预设推荐条件的候选推荐数据，确定为与对象特征匹配的目标推荐数据。

在一个实施例中，如图11所示，提供了一种基于推荐数据评估模型确定目标推荐数据的过程，参照图11可知，推荐数据评估模型包括对象特征塔，用于对对象特征(即用户feature)进行拼接处理(即concat处理)后，再进行特征识别处理，以将对象特征转换为嵌入式向量表示，即获得对象特征向量(即user embedding)，还包括推荐特征塔，用于各候选推荐特征(即广告feature)进行拼接处理(即concat处理)后，再进行特征识别处理，将候选推荐特征转换为嵌入式向量表示，即获得候选推荐特征向量(即ads embedding)。

具体来说，利用训练好的推荐数据评估模型，获得与对象特征对应的对象特征向量、以及各与候选推荐数据特征对应的各候选推荐特征向量后，进一步计算对象特征向量和每一候选推荐特征向量之间的向量内积，获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据的评分数值。其中，具体是将评分数值最大的推荐评估数据，确定为目标推荐数据。

本实施例中，根据训练好的推荐数据评估模型的对象特征塔、以及推荐特征塔，分别对对象特征以及各候选推荐数据特征，进行特征识别，获得与对象特征对应的对象特征向量、以及与候选推荐数据特征对应的候选推荐特征向量。进一步地，基于对象特征向量、以及各候选推荐特征向量，进行推荐数据评估处理，获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据，并根据预设推荐条件，对各推荐评估数据进行筛选，获得推荐评估数据的评分数值满足预设推荐条件的候选推荐数据，确定为与对象特征匹配的目标推荐数据。实现了可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并对目标推荐数据进行展示和推荐，从而提升针对不同对象进行精准的目标推荐数据的推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的推荐数据评估模型的构建方法、推荐数据评估方法的推荐数据评估模型的构建装置、推荐数据评估装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个推荐数据评估模型的构建装置、推荐数据评估装置实施例中的具体限定可以参见上文中对于推荐数据评估模型的构建方法、推荐数据评估方法的限定，在此不再赘述。

在一个实施例中，如图12所示，提供了一种推荐数据评估模型的构建装置，包括：第一推荐样本确定模块1202、第一推荐样本偏序对构建模块1204、第二推荐样本获得模块1206、第二推荐样本偏序对构建模块1208以及推荐数据评估模型获得模块1210，其中：

第一推荐样本确定模块1202，用于获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本；

第一推荐样本偏序对构建模块1204，用于基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对；

第二推荐样本获得模块1206，用于根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本；

第二推荐样本偏序对构建模块1208，用于基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对；

推荐数据评估模型获得模块1210，用于根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，若在训练过程中根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型。

上述推荐数据评估模型的构建装置中，通过获取对象特征样本和各推荐特征样本，并基于对象特征样本和各推荐特征样本，确定相同推荐请求的各第一推荐样本，以基于各第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对。而根据预设样本约束条件，对各第一推荐样本进行筛选，可筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，进而基于各第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对，从而可获得不同层次的推荐样本偏序对。进一步地，根据不同层次的各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练，以在训练过程中，使得初始评估模型可学习相同预设样本约束条件下，不同推荐样本之间的信息差异，从而可提升模型在进行推荐数据评估时的评估结果的准确度。其中，若在训练过程中，根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件，获得训练好的推荐数据评估模型，从而可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，提升了根据目标推荐数据进行精准推荐所带来的正向效益。

在一个实施例中，第一推荐样本确定模块，还用于：

基于初始评估模型的对象特征塔、以及推荐特征塔，分别对对象特征样本、以及推荐特征样本进行特征识别，获得与对象特征样本对应的对象特征向量、以及与推荐特征样本对应的推荐特征向量；获取与对象特征向量对应的各推荐请求，并确定与每一推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本。

在一个实施例中，约束标识包括推荐产品标识和推广方标识，第二推荐样本获得模块，还用于：

获取各第一推荐样本携带的推荐产品标识、以及推广方标识；根据预设样本约束条件，对各第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

在一个实施例，提供了一种推荐数据评估模型的构建装置，还包括第一推荐样本排序模块，用于：

在一个实施例，提供了一种推荐数据评估模型的构建装置，还包括第二推荐样本排序模块，用于：

在一个实施例，提供了一种推荐数据评估模型的构建装置，还包括联合损失函数确定模块，用于：

确定根据各第一推荐样本偏序对，对初始评估模型进行训练时的第一损失函数，以及确定根据各第二推荐样本偏序对，对初始评估模型进行训练时的第二损失函数；根据与第一损失函数对应的第一预设权重、以及与第二损失函数对应的第二预设权重，对第一损失函数和第二损失函数进行加权融合处理，获得联合损失函数。

在一个实施例中，如图13所示，提供了一种推荐数据评估装置，具体包括：推荐数据评估请求接收模块1302、以及目标推荐数据确定模块1304，其中：

推荐数据评估请求接收模块1302，用于接收推荐数据评估请求，并获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的各候选推荐数据特征；各候选推荐数据特征携带相同的推广数据标识；

目标推荐数据确定模块1304，用于根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据；其中，训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的；其中，各第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，各第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的；各第一推荐样本是基于对象特征样本和推荐特征样本，确定得到的，各第二推荐样本，是根据预设样本约束条件，对各第一推荐样本进行筛选得到的。

上述推荐数据评估装置中，通过接收推荐数据评估请求，并获取与推荐数据评估请求对应的对象特征，以及与推荐数据评估请求关联的、携带相同的推广数据标识的各候选推荐数据特征，并根据训练好的推荐数据评估模型，对对象特征以及各候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与对象特征匹配的目标推荐数据。其中，训练好的数据评估模型，是根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，对初始评估模型进行训练的过程中，在根据各第一推荐样本偏序对、以及各第二推荐样本偏序对，所确定的联合损失函数满足训练结束条件时，确定得到的，而各第一推荐样本偏序对，是相同推荐请求的各第一推荐样本进行两两组合得到的，各第二推荐样本偏序对，是对相同推荐请求下，携带相同约束标识的各第二推荐样本进行两两组合得到的。其中，各第一推荐样本是基于对象特征样本和推荐特征样本，确定得到的，而各第二推荐样本，是根据预设样本约束条件，对各第一推荐样本进行筛选得到的。实现了可根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并对目标推荐数据进行展示和推荐，从而提升针对不同对象进行精准的目标推荐数据的推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

在一个实施例中，目标推荐数据确定模块，还用于：

根据训练好的推荐数据评估模型的对象特征塔、以及推荐特征塔，分别对对象特征以及各候选推荐数据特征，进行特征识别，获得与对象特征对应的对象特征向量、以及与候选推荐数据特征对应的候选推荐特征向量；基于对象特征向量、以及各候选推荐特征向量，进行推荐数据评估处理，获得对象特征向量和每一候选推荐特征向量之间的推荐评估数据；根据预设推荐条件，对各推荐评估数据进行筛选，获得推荐评估数据的评分数值满足预设推荐条件的候选推荐数据，确定为与对象特征匹配的目标推荐数据。

上述推荐数据评估模型的构建装置、推荐数据评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图14所示，提供了一种推荐数据精准推广系统，参照图14可知，该推荐数据精准推广系统，具体包括：基于广告粒度的召回模块1402、以及广告粒度的粗排模型1404、基于广告创意粒度的创意优选模型(即训练好的推荐数据评估模型)1406、以及基于创意粒度的精排模型1408。

其中，在推荐数据精准推广系统，创意优选模型(即训练好的推荐数据评估模型)1406位于粗排模型1404与精排模型1408之间，且召回模块1402和粗排模型1404是基于广告粒度对广告数据进行打分，而创意优选模型1406(即训练好的推荐数据评估模型)则是对同一广告数据下不同广告创意数据的打分，并将打分最高的广告创意数据作为该广告数据的优选创意，输入精排模型1408。

进一步地，创意优选模型1406(即训练好的推荐数据评估模型)使用的训练样本，来自精排模型1408的打分样本(即精排模型1408具体是对每一广告数据及其携带的唯一的广告创意数据进行打分，获得的是每一个广告数据所携带的唯一的广告创意数据的打分)，属于广告间样本，而创意优选模型(即训练好的推荐数据评估模型)1406，则是对同一广告数据内的不同广告创意数据进行打分，即获得同一个广告数据对应的每个广告创意数据的打分，并从中筛选出打分最高的广告创意数据，确定为该广告数据的唯一广告创意数据，并将每一广告数据及其携带的唯一广告创意数据，输入精排模型1408进行进一步打分和筛选。

在一个实施例中，如图15所示，提供了一种推荐数据精准推广系统的数据流处理示意，参照图15可知，实现对创意优选模型即训练好的推荐数据评估模型的模型训练时，具体是利用精排模型，对每一广告数据及其携带的唯一的广告创意数据进行打分，获得的是每一个广告数据所携带的唯一的广告创意数据的打分，即推荐数据评估模型的训练样本为广告间样本，包括如图15所示的aid1-tid、aid2-tid、……、aidn-tid，即包括不同广告数据及其所携带的唯一的广告创意数据。

其中，利用精排模型确定出的广告间样本，实现对创意优选模型即推荐数据评估模型的训练后，具体是利用训练好的推荐数据评估模型(即创意优选模型)，对打分候选集(即同一广告数据内的各广告创意数据)进行打分，确定出与该广告数据对应的打分最高的广告创意数据，并将各广告数据及其携带的唯一广告创意数据，输入精排模型进行进一步打分和筛选，通过精排模型，确定出精排得分最高的广告数据及其广告创意数据，作为进行推送的目标推送数据。

具体来说，参照图15可知，打分候选集具体包括广告数据aid、以及和aid对应的3个广告创意数据tid_1、tid_2、tid_3，利用训练好的推荐数据评估模型(即创意优选模型)，对打分候选集(即同一广告数据内的各广告创意数据)进行打分，确定出与该广告数据对应的打分最高的广告创意数据，即优选结果top1-tid。

其中，针对与该广告数据对应的打分最高的广告创意数据，即优选结果top1-tid，利用精排模型进行进一步打分和筛选，确定出精排得分最高的广告数据及其广告创意数据，作为进行推送的目标推送数据。

上述推荐数据精准推广系统中，通过训练得到推荐数据评估模型(即创意优选模型)，并根据训练好的推荐数据评估模型，确定出与当前的对象特征所匹配的目标推荐数据，并利用精排模型对目标推荐数据进行进一步筛选和打分，获得目标推送数据，并对目标推送数据进行展示和推荐，从而提升针对不同对象的精准推广，进一步提升在不同平台进行推荐数据的精准推荐带来的正向效益。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储对象特征样本、推荐特征样本、相同推荐请求的各第一推荐样本、第一推荐样本偏序对、第二推荐样本、第二推荐样本偏序对、联合损失函数以及训练好的推荐数据评估模型等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种推荐数据评估模型的构建方法、推荐数据评估方法。

本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种推荐数据评估模型的构建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于所述对象特征样本和所述推荐特征样本，确定相同推荐请求的各第一推荐样本，包括：

基于所述初始评估模型的对象特征塔、以及推荐特征塔，分别对所述对象特征样本、以及所述推荐特征样本进行特征识别，获得与所述对象特征样本对应的对象特征向量、以及与所述推荐特征样本对应的推荐特征向量；

获取与所述对象特征向量对应的各推荐请求，并确定与每一所述推荐请求匹配的各推荐特征向量，获得相同推荐请求下的各第一推荐样本。

3.根据权利要求2所述的方法，其特征在于，所述约束标识包括推荐产品标识和推广方标识；所述根据预设样本约束条件，对各所述第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同约束标识的各第二推荐样本，包括：

获取各所述第一推荐样本携带的推荐产品标识、以及推广方标识；

根据预设样本约束条件，对各所述第一推荐样本进行筛选，筛选得到相同推荐请求下，携带相同推荐产品标识、或相同推广方标识的各第二推荐样本。

4.根据权利要求1至3任意一项所述的方法，其特征在于，在基于各所述第一推荐样本进行两两组合，构建得到多个第一推荐样本偏序对之前，还包括：

获取与各所述第一推荐样本对应的推荐资源消耗值；

按照所述推荐资源消耗值的取值大小，对各所述第一推荐样本进行排序，获得排序后的各第一推荐样本。

5.根据权利要求1至3任意一项所述的方法，其特征在于，在基于各所述第二推荐样本进行两两组合，构建得到多个第二推荐样本偏序对之前，还包括：

获取与各所述第二推荐样本对应的点击率和转化率，并根据所述点击率和所述转化率，确定与各所述第二推荐样本对应的点击且转化率；

按照所述点击且转化率的取值大小，对各所述第二推荐样本进行排序，获得排序后的各第二推荐样本。

6.根据权利要求1至3任意一项所述的方法，其特征在于，在根据各所述第一推荐样本偏序对、以及各所述第二推荐样本偏序对，对初始评估模型进行训练时，所述方法还包括：

确定根据各所述第一推荐样本偏序对，对所述初始评估模型进行训练时的第一损失函数，以及确定根据各所述第二推荐样本偏序对，对所述初始评估模型进行训练时的第二损失函数；

根据与所述第一损失函数对应的第一预设权重、以及与所述第二损失函数对应的第二预设权重，对所述第一损失函数和第二损失函数进行加权融合处理，获得联合损失函数。

7.一种推荐数据评估方法，其特征在于，所述方法包括：

8.根据权利要求7所述的方法，其特征在于，所述根据训练好的推荐数据评估模型，对所述对象特征以及各所述候选推荐数据特征，进行特征识别和推荐数据评估处理，获得与所述对象特征匹配的目标推荐数据，包括：

根据训练好的推荐数据评估模型的对象特征塔、以及推荐特征塔，分别对所述对象特征以及各所述候选推荐数据特征，进行特征识别，获得与所述对象特征对应的对象特征向量、以及与所述候选推荐数据特征对应的候选推荐特征向量；

基于所述对象特征向量、以及各所述候选推荐特征向量，进行推荐数据评估处理，获得所述对象特征向量和每一所述候选推荐特征向量之间的推荐评估数据；

根据预设推荐条件，对各所述推荐评估数据进行筛选，获得推荐评估数据的评分数值满足所述预设推荐条件的候选推荐数据，确定为与所述对象特征匹配的目标推荐数据。

9.一种推荐数据评估模型的构建装置，其特征在于，所述装置包括：

10.一种推荐数据评估装置，其特征在于，所述装置包括：

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。