CN112836120A - 一种基于多模态知识图谱的电影推荐方法、系统及终端 - Google Patents
一种基于多模态知识图谱的电影推荐方法、系统及终端 Download PDFInfo
- Publication number
- CN112836120A CN112836120A CN202110111258.9A CN202110111258A CN112836120A CN 112836120 A CN112836120 A CN 112836120A CN 202110111258 A CN202110111258 A CN 202110111258A CN 112836120 A CN112836120 A CN 112836120A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- entity
- path
- graph
- movie
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 63
- 230000015654 memory Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000002776 aggregation Effects 0.000 claims abstract description 19
- 238000004220 aggregation Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 230000004931 aggregating effect Effects 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多模态知识图谱的电影推荐方法、系统及终端，所述方法包括：根据单模态特征获取电影图片和文本信息，抽取电影图片和文本信息中的实体、属性和关系，得到知识本体后与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；利用长短期记忆网络模型学习嵌入向量输出表示实体和关系的聚合路径；利用全连接层将聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。本发明提高了电影推荐的全面性和准确率。
Description
技术领域
本发明涉及电影推荐技术领域，尤其涉及一种基于多模态知识图谱的电影推荐方法、系统及终端。
背景技术
伴随着互联网的蓬勃发展，网络上的数据内容正以爆炸式的速度增长，过量信息同时呈现使得用户很难从中获取对自己有用的部分，信息使用效率反而降低。推荐算法现已成为对于信息数据提取和内容挖掘的一项关键技术。通过结合用户的历史电影点击记录，在面临庞大信息数据量的情况下，为用户高效地定位出令人满意的推荐信息，是提高企业竞争力的最有效途径和产生更高收益的有效方法。与此对应，消费者如何能快速地在如此庞大的信息库中找到自己感兴趣的目标电影，是他们提出的个性化的需求，同时也是身处信息时代的需求。
当今时代，我国经济的高速发展，人民的生活水平也在稳步上升，群众对精神文化生活的重视推动了我国电影行业的迅速发展，观影需求持续扩大，这些使得电影产量越来越高。用户总有观看电影的偏好，有些用户还不太明确自己喜欢的电影类型，那么通过用户的信息、关注领域、兴趣爱好、观影历史记录等，通过数据挖掘的手段，获得属于不同用户的不同特征，以此构建个性化电影推荐系统就显得极为重要。随着电影产量的指数级增长，电影质量参差不齐等问题也日益凸显出来。因此，立足于为用户提供观影建议的推荐系统便应运而生了。
知识图谱作为一种新兴的辅助信息类型在推荐系统中发挥着重要作用，通过引入一些额外的辅助侧信息，可以有效的解决现有推荐系统的数据稀疏性及冷启动问题，现有的基于知识图谱的推荐大多是通过图嵌入的方法对实体和关系进行表征，进而扩充原有物品和用户表征的语义信息，一个良好的基于知识图谱的推荐方法能提高推荐的准确率，有助于深层次的挖掘用户兴趣，提供多样性的推荐结果，避免推荐结果局限于单一类型，还具有一定的可解释性，为用户推荐TopN个可能感兴趣的物品，为企业挖掘大量隐藏的商业价值。所以说，融合知识图谱的推荐系统方法的好坏将直接影响最后的推荐效果，也就直接影响能否充分挖掘出商业价值。
传统的基于知识图谱的推荐方法有基于embedding(嵌入)和基于路径的方法。基于embedding的方法有做新闻推荐的深度知识感知网络(deep knowledge-aware network，DKN)、使用图嵌入方法的翻译距离模型(TransD，TransE，TransR)、合成推荐算法(Collaborative Knowledge Base Embedding for Recommender Systems，CKE)，基于路径的方法有异构信息网络(Heterogeneous Information Networks，HIN)等。这些方法都使用来自知识图谱的信息丰富user或item，前者是利用知识图谱的embedding指导项目的表示学习，将实体和关系映射到低维向量空间中，后者是利用用户-物品的连通性推断用户和物品的相似度，提升推荐效果。这些方法都在尝试丰富用户-物品多样化的关联关系，细粒度的挖掘用户-物品之间的连接性以及寻找路径中的隐含信息。因此，通过增加知识图谱的多模态信息构建和关注用户-物品之间语义信息等方法都被证实对提升推荐效果有着积极的影响，众所周知，embedding方法可以将知识图谱中的路径关系进行向量化的表达，而LSTM(Long Short-Term Memory，长短期记忆网络)模型在一定程度上解决了RNN由于U、W、b参数共享导致的梯度爆炸及梯度消失问题，增强记忆的长期依赖，方便对输入向量进行序列化建模，可以按顺序对元素进行编码，并具备长时记忆能力，以挖掘基于关系的实体语义信息。
DKN算法的优点是先使用知识感知卷积神经网络(KCNN)融了新闻词级表示和知识表示，用embedding提取单词、实体和上下文三部分特征并将单词与实体对齐，消除向量化后的空间异构性，计算候选新闻向量与用户点击历史向量之间的attention权重，最后concat在一起再用DNN计算用户点击新闻概率，网络层数低，模型简单，但是缺点是在训练时会产生梯度消失和梯度爆炸等问题，简单的concat打破了单词和实体之间的内在联系，挖掘不到单词-实体之间潜在的语义特征。LSTM在一定程度上可以克服这种深度神经网络使用梯度下降法进行反馈学习时的问题，通过内部控制的门在接下来的更新时记住前几次训练的长短期“残留记忆”，避免产生梯度消失和梯度爆炸的问题，且LSTM在处理时间序列时有独到的优势，能够记忆序列中的长期依赖关系，有助于推断连接用户-物品之间的多跳路径，对实体和关系的依赖建模，捕获基于关系的实体语义组合，但是忽视了图片、音频和其他结构化信息导致推荐不全面的问题，引入多模态知识图谱的各种数据类型，优点是可以充分利用多模态知识来提高推荐效果，缺点是如何构建多模态知识图谱，以及在引入图谱数据时存在多源异构问题，如何将这些数据进行融合，用不同工具对用户-物品的不同模态进行有效表征。
也就是说，现有技术大部分仅通过分析单模信息实现推荐，忽视了信息源之间联系从而导致推荐不全面的问题；现有推荐多为隐式推荐，仅考虑实体间直接关系，无法细粒度的关注到多跳路径关系导致推荐准确率较低、不具有可解释性的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于多模态知识图谱的电影推荐方法、系统及终端，旨在解决现有技术中仅通过分析单模信息实现推荐，忽视了信息源之间联系从而导致推荐不全面的问题。
为实现上述目的，本发明提供一种基于多模态知识图谱的电影推荐方法，所述基于多模态知识图谱的电影推荐方法包括如下步骤：
接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述实体包括头实体和尾实体。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之前还包括：
将所抽取的实体进行实体消歧处理，所述实体消歧处理用于得到实体的真实语义。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之后还包括：
将所述知识本体进行知识预处理。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述知识预处理包括：
利用正则处理和语法匹配，并利用集合相似度度量函数计算属性之间的相似性；
根据属性相似度，采用加权平均的方式得到实体相似度，进行实体链接得到结构化信息。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述知识图谱结构化数据为知识图谱本身存储的数据。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述输出用户观看电影的预测概率，并作为推荐评分展示给用户，具体包括：
输出多个用户观看电影的预测概率，将多个目标电影按照预测概率从大到小进行排序，并从中选择预设个数的电影推荐给用户。
此外，为实现上述目的，本发明还提供一种基于多模态知识图谱的电影推荐系统，其中，所述基于多模态知识图谱的电影推荐系统包括：
信息获取模块，用于接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
知识图谱生成模块，用于将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
嵌入处理模块，用于根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
路径聚合模块，用于利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
电影推荐模块，用于利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被所述处理器执行时实现如上所述的基于多模态知识图谱的电影推荐方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被处理器执行时实现如上所述的基于多模态知识图谱的电影推荐方法的步骤。
本发明通过接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。本发明通过构建多模态知识图谱，融合多模态的辅助侧信息，使用户与电影具有更全面的交互性，给用户推荐更加适合的目标电影，提高了电影推荐的全面性和准确率。
附图说明
图1是本发明基于多模态知识图谱的电影推荐方法的较佳实施例的流程图；
图2是本发明基于多模态知识图谱的电影推荐方法的较佳实施例中整个推荐过程的流程示意图；
图3是本发明基于多模态知识图谱的电影推荐方法的较佳实施例中多模态知识图谱利用TransR的原理示意图；
图4是本发明基于多模态知识图谱的电影推荐系统的较佳实施例的原理示意图；
图5为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于多模态知识图谱的电影推荐方法，如图1和图2所示，所述基于多模态知识图谱的电影推荐方法包括以下步骤：
步骤S10、接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
步骤S20、将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
步骤S30、根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
步骤S40、利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
步骤S50、利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
具体地，如图2所示，通过输入电影海报剧照、海报等图片信息，和电影简介文字和评论等数据结构相对不规则，需要进一步处理的非结构化信息(结构化数据)，其中，结构化数据在本发明中表示知识图谱，半结构化数据例如XML、JSON、百科，非结构化数据例如图片、视频、文本；利用实体抽取，属性抽取和关系抽取的方法转化为实体、属性和关系的结构化信息，在进行实体消歧后，获取到知识本体，一个词在不同的上下文中可能有很多个意思，通过计算实体间的相似度(相似度高的看作实体的真实语义)来消除歧义；下一步是进行知识预处理，利用正则(例如移除“、《、空格，乱码等字符)和语法匹配(如统一用户联系方式表达)，利用Dice系数(Dice系数是一种集合相似度度量函数，与相似度指数相同，也被称为系数，Dice系数可以计算两个字符串的相似度)计算属性之间的相似性，根据属性相似度，采用加权平均的方式得到实体相似度，进行实体链接得到结构化的知识。将这些结构化信息与基于知识图谱的结构化数据(即知识图谱结构化数据)通过知识合并完成知识融合。通过人工的质量评估完成知识加工，构建成多模态知识图谱。
利用构造好的多模态知识图谱，通过TransR训练三元组，先用embedding，embedding表示嵌入的意思，embedding是一种低维向量的表示形式，通过将图片以及文本等非结构化信息进行embedding，可以用向量化的方式表达图片和文字，对其进行编码，用以表征这些模态中的潜在信息，便于深度学习网络模型的理解，尤其embedding在空间中的表达可以揭示物体间的潜在关系，使距离相近的向量对应的物体具有相近的含义；这个步骤得到embedding的作用是为了学习到这些模态中物体和关系的隐含信息，进行向量化，再放入LSTM模型中，因为LSTM模型的输入输出都必须是向量，在每个实体-关系路径中，将头实体，尾实体投影到向量空间中，映射成两个嵌入向量，然后将路径中的每个关系也分别投影，表示为单独的嵌入向量。
其中，所述实体包括头实体和尾实体。知识图谱是由其基本单位三元组构成，其中包括(h，r，t)即头实体，尾实体和关系。其中头实体和尾实体又统称为实体。例如，李安(entity)→导演(relation)→少年派的奇幻漂流(entity)就是一个三元组，其中，李安是头实体，少年派的奇幻漂流是尾实体，导演这个relation则是描述李安和少年派的奇幻漂流的关系。
如图3所示，将多模态知识图谱利用TransR采用分布式方法为实体和关系分别创造结构化的表示，可以有效处理多对一/多对多的关系，受word2vec启发，利用了词向量的平移不变现象。将每个三元组实例(head，relation，tail)中的关系relation看做从实体head(即头实体)到实体tail即尾实体)的翻译，通过不断调整e、r和e′(head、relation和tail的向量)，使e+r尽可能与e′相等，即e+r≈e′。另外，对于每一类关系，不光有一个向量r来描述它自身，还有一个映射矩阵Mr来描述这个关系所处的关系空间，即对于一个三元组。数学上通过约束
来对实体和关系建模，将它们映射到相同的向量空间中，获得它们的向量表示。将每个路径pk中的实体向量el表示为el∈Md，d表示embedding的维度，关系向量rl表示为rl∈Md，由此可以得到一组路径的向量表示[e1，r1.....el-1，rl-1，el，rl]，其中，el-1为多跳路径上与el相连的前级实体，当el-1表示头实体时，el表示尾实体。
在l-1步，LSTM层输出隐含向量[e1，r1...el-1，rl-1]，即hl-1，此时当前层输入向量xl-1可表示为
在此处表示concat(合并)，因为LSTM具有顺序记忆性，输入向量具有上一步实体之间的语义信息，以及实体之间的关联关系，可以学习到下一步输出的隐含信息表示，LSTM中的遗忘门表示为fl＝σ(wfxl+ufhl-1+bf)，功能是控制输入xl-1和上一层隐藏层输出hl-1被遗忘的大小程度。输入门表示为il＝σ(wixl+uihl+bi)，功能是控制输入xl-1和将当前计算的状态更新到记忆单元的程度大小。内部记忆单元表示为c′l＝Tanh(wcxl+uchl-1+bc)，而状态记忆向量
为当前状态的内部表征，输出门ol＝σ(woxl+uohl-1+bo)，当前隐藏层输出状态hl＝olTanh(cl)，在模型中，每个部分单独共用一套参数(u和w为映射系数，b为偏差)，hi表示当前隐藏层的输出，
为元素的向量乘积，σ表示激活函数，hl表示最终输出包含全部路径的pk。
为了预测最终用户点击电影的得分，利用两个全连接层输出预测得分，例如：s(pk)＝w2 TReLU(w1 Tpk)，其中w1和w2分别为第一层和第二层的权重系数。
最后输出预测电影得分，采用平均方式聚合所有路径得分
采用sigmoid激活函数预测评分，然后排序，给用户推荐预设个数(例如5-10个)电影，即输出多个用户观看电影的预测概率，将多个目标电影按照预测概率从大到小进行排序，并从中选择预设个数例如5-10个)的电影推荐给用户，便于用户直接选择符合自己需求的电影进行观看。
本发明提供一种基于知识图谱的电影推荐方法，采用知识图谱可以为推荐系统提供丰富的辅助信息来源，同时采集包括电影海报、文本及各种结构化的多模态信息，构建电影多模态知识图谱；旨在解决现有研究大部分仅通过分析单模信息实现推荐，忽视了信息源之间联系从而导致推荐不全面的问题；现有推荐多为隐式推荐，仅考虑实体间直接关系，无法细粒度的关注到多跳路径关系导致推荐准确率较低、不具有可解释性的问题。
本发明利用多种模态信息各自的优点，通过融合图片、文本等多模态辅助侧信息的策略克服单模态推荐的内在问题，从知识图谱中提取用户-项目对之间的路径，该路径由实体和关系组成，通过LSTM按顺序对实体和关系的依赖建模，以此来捕获基于关系的实体组合语义，通过池化层来聚合路径的表示，得到用户和目标电影匹配的最终得分。
本发明考虑了知识图谱的作用，通过构建知识图谱，融合了多模态的辅助侧信息，使用户与电影具有更全面的交互性；以端到端的方式显式地对知识图谱中的用户-项目直接或间接(即多跳)的关系属性行建模，这些属性为用户-项目之间构建了一条或多条路径，通过探索这些多跳路径上用户和项目之间的关系，一定程度上克服了深度神经网络黑盒特性的弊端，使推荐系统具有更好的推荐效果和一定的可解释性，可以让用户明白项目被推荐给自己的原因，也能提高模型的泛化能力；用户建模方法能够有效提取用户-项目间的多跳路径关系，细粒度的捕捉用户兴趣，在提高推荐全面性和准确率的基础上具备一定的可解释性。
进一步地，如图4所示，基于上述基于多模态知识图谱的电影推荐方法，一种基于多模态知识图谱的电影推荐系统，其中，所述基于多模态知识图谱的电影推荐系统包括：
信息获取模块100，用于接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
知识图谱生成模块200，用于将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
嵌入处理模块300，用于根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
路径聚合模块400，用于利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
电影推荐模块500，用于利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
进一步地，如图5所示，基于上述基于多模态知识图谱的电影推荐方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图5仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于多模态知识图谱的电影推荐程序40，该基于多模态知识图谱的电影推荐程序40可被处理器10所执行，从而实现本申请中基于多模态知识图谱的电影推荐方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于多模态知识图谱的电影推荐方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于多模态知识图谱的电影推荐程序40时实现以下步骤：
接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
其中，所述实体包括头实体和尾实体。
其中，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之前还包括：
将所抽取的实体进行实体消歧处理，所述实体消歧处理用于得到实体的真实语义。
可选地，所述的基于多模态知识图谱的电影推荐方法，其中，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之后还包括：
将所述知识本体进行知识预处理。
其中，所述知识预处理包括：
利用正则处理和语法匹配，并利用集合相似度度量函数计算属性之间的相似性；
根据属性相似度，采用加权平均的方式得到实体相似度，进行实体链接得到结构化信息。
其中，所述知识图谱结构化数据为知识图谱本身存储的数据。
其中，所述输出用户观看电影的预测概率，并作为推荐评分展示给用户，具体包括：
输出多个用户观看电影的预测概率，将多个目标电影按照预测概率从大到小进行排序，并从中选择预设个数的电影推荐给用户。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被处理器执行时实现如上所述的基于多模态知识图谱的电影推荐方法的步骤。
综上所述，本发明提供一种基于多模态知识图谱的电影推荐方法、系统及终端，所述方法包括：接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。本发明通过构建多模态知识图谱，融合多模态的辅助侧信息，使用户与电影具有更全面的交互性，给用户推荐更加适合的目标电影，提高了电影推荐的全面性和准确率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于多模态知识图谱的电影推荐方法，其特征在于，所述基于多模态知识图谱的电影推荐方法包括：
接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
2.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述实体包括头实体和尾实体。
3.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之前还包括：
将所抽取的实体进行实体消歧处理，所述实体消歧处理用于得到实体的真实语义。
4.根据权利要求3所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之后还包括：
将所述知识本体进行知识预处理。
5.根据权利要求4所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述知识预处理包括：
利用正则处理和语法匹配，并利用集合相似度度量函数计算属性之间的相似性；
根据属性相似度，采用加权平均的方式得到实体相似度，进行实体链接得到结构化信息。
6.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述知识图谱结构化数据为知识图谱本身存储的数据。
7.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述输出用户观看电影的预测概率，并作为推荐评分展示给用户，具体包括：
输出多个用户观看电影的预测概率，将多个目标电影按照预测概率从大到小进行排序，并从中选择预设个数的电影推荐给用户。
8.一种基于多模态知识图谱的电影推荐系统，其特征在于，所述基于多模态知识图谱的电影推荐系统包括：
信息获取模块，用于接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；
知识图谱生成模块，用于将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；
嵌入处理模块，用于根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；
路径聚合模块，用于利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；
电影推荐模块，用于利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被所述处理器执行时实现如权利要求1-7任一项所述的基于多模态知识图谱的电影推荐方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被处理器执行时实现如权利要求1-7任一项所述的基于多模态知识图谱的电影推荐方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111258.9A CN112836120B (zh) | 2021-01-27 | 2021-01-27 | 一种基于多模态知识图谱的电影推荐方法、系统及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111258.9A CN112836120B (zh) | 2021-01-27 | 2021-01-27 | 一种基于多模态知识图谱的电影推荐方法、系统及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112836120A true CN112836120A (zh) | 2021-05-25 |
| CN112836120B CN112836120B (zh) | 2024-03-22 |
Family
ID=75931891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110111258.9A Active CN112836120B (zh) | 2021-01-27 | 2021-01-27 | 一种基于多模态知识图谱的电影推荐方法、系统及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836120B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334221A (zh) * | 2019-07-18 | 2019-10-15 | 桂林电子科技大学 | 一种基于知识图谱路径的可解释性推荐方法 |
| CN113220861A (zh) * | 2021-06-01 | 2021-08-06 | 中国电子科技集团公司第五十四研究所 | 一种面向专业领域的知识图谱问答系统 |
| CN113254788A (zh) * | 2021-06-23 | 2021-08-13 | 佛山市墨纳森智能科技有限公司 | 一种基于大数据的推荐方法、系统及可读存储介质 |
| CN113254550A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大华技术股份有限公司 | 基于知识图谱的推荐方法、电子设备和计算机存储介质 |
| CN113298426A (zh) * | 2021-06-17 | 2021-08-24 | 华能澜沧江水电股份有限公司 | 知识图谱驱动的大坝安全评判权重动态拟定方法及系统 |
| CN113344053A (zh) * | 2021-05-29 | 2021-09-03 | 华中师范大学 | 一种基于试题异构图表征与学习者嵌入的知识追踪方法 |
| CN113360772A (zh) * | 2021-07-02 | 2021-09-07 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
| CN113807518A (zh) * | 2021-08-16 | 2021-12-17 | 中央财经大学 | 基于远程监督的关系抽取系统 |
| CN114186690A (zh) * | 2022-02-16 | 2022-03-15 | 中国空气动力研究与发展中心计算空气动力研究所 | 飞行器知识图谱构建方法、装置、设备及存储介质 |
| CN114443822A (zh) * | 2021-12-24 | 2022-05-06 | 科大讯飞(苏州)科技有限公司 | 用于建筑领域的多模态问答的方法、系统和计算设备 |
| CN114564641A (zh) * | 2022-02-18 | 2022-05-31 | 华东师范大学 | 个性化多视图联邦推荐系统 |
| CN114610911A (zh) * | 2022-03-04 | 2022-06-10 | 中国电子科技集团公司第十研究所 | 多模态知识本征表示学习方法、装置、设备及存储介质 |
| CN114661951A (zh) * | 2022-03-22 | 2022-06-24 | 腾讯科技（深圳）有限公司 | 一种视频处理方法、装置、计算机设备以及存储介质 |
| CN114912020A (zh) * | 2022-04-21 | 2022-08-16 | 华东师范大学 | 一种基于用户偏好图的多子目标对话推荐方法 |
| CN116090360A (zh) * | 2023-04-12 | 2023-05-09 | 安徽思高智能科技有限公司 | 一种基于多模态实体对齐的rpa流程推荐方法 |
| CN116108169A (zh) * | 2022-12-12 | 2023-05-12 | 长三角信息智能创新研究院 | 一种基于知识图谱的热线工单智能分派方法 |
| CN117540102A (zh) * | 2023-12-04 | 2024-02-09 | 中国科学院地理科学与资源研究所 | 一种基于知识图谱和多模态数据的生态文明模式推荐方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| KR20180092194A (ko) * | 2017-02-08 | 2018-08-17 | 경북대학교 산학협력단 | 논리적 속성이 반영된 지식 그래프 임베딩 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
| CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
| CN110737778A (zh) * | 2019-09-04 | 2020-01-31 | 北京邮电大学 | 基于知识图谱和Transformer的专利推荐方法 |
| CN112069408A (zh) * | 2020-06-15 | 2020-12-11 | 北京理工大学 | 一种融合关系抽取的推荐系统及方法 |
-
2021
- 2021-01-27 CN CN202110111258.9A patent/CN112836120B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| KR20180092194A (ko) * | 2017-02-08 | 2018-08-17 | 경북대학교 산학협력단 | 논리적 속성이 반영된 지식 그래프 임베딩 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
| CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
| CN110737778A (zh) * | 2019-09-04 | 2020-01-31 | 北京邮电大学 | 基于知识图谱和Transformer的专利推荐方法 |
| CN112069408A (zh) * | 2020-06-15 | 2020-12-11 | 北京理工大学 | 一种融合关系抽取的推荐系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 程淑玉;黄淑桦;印鉴;: "融合知识图谱与循环神经网络的推荐模型", 小型微型计算机系统, no. 08 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334221A (zh) * | 2019-07-18 | 2019-10-15 | 桂林电子科技大学 | 一种基于知识图谱路径的可解释性推荐方法 |
| CN113344053A (zh) * | 2021-05-29 | 2021-09-03 | 华中师范大学 | 一种基于试题异构图表征与学习者嵌入的知识追踪方法 |
| CN113220861A (zh) * | 2021-06-01 | 2021-08-06 | 中国电子科技集团公司第五十四研究所 | 一种面向专业领域的知识图谱问答系统 |
| CN113220861B (zh) * | 2021-06-01 | 2022-09-02 | 中国电子科技集团公司第五十四研究所 | 一种面向专业领域的知识图谱问答系统 |
| CN113298426A (zh) * | 2021-06-17 | 2021-08-24 | 华能澜沧江水电股份有限公司 | 知识图谱驱动的大坝安全评判权重动态拟定方法及系统 |
| CN113254788A (zh) * | 2021-06-23 | 2021-08-13 | 佛山市墨纳森智能科技有限公司 | 一种基于大数据的推荐方法、系统及可读存储介质 |
| CN113254550A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大华技术股份有限公司 | 基于知识图谱的推荐方法、电子设备和计算机存储介质 |
| CN113360772A (zh) * | 2021-07-02 | 2021-09-07 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
| CN113360772B (zh) * | 2021-07-02 | 2022-09-09 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
| CN113807518A (zh) * | 2021-08-16 | 2021-12-17 | 中央财经大学 | 基于远程监督的关系抽取系统 |
| CN113807518B (zh) * | 2021-08-16 | 2024-04-05 | 中央财经大学 | 基于远程监督的关系抽取系统 |
| CN114443822A (zh) * | 2021-12-24 | 2022-05-06 | 科大讯飞(苏州)科技有限公司 | 用于建筑领域的多模态问答的方法、系统和计算设备 |
| CN114186690A (zh) * | 2022-02-16 | 2022-03-15 | 中国空气动力研究与发展中心计算空气动力研究所 | 飞行器知识图谱构建方法、装置、设备及存储介质 |
| CN114564641A (zh) * | 2022-02-18 | 2022-05-31 | 华东师范大学 | 个性化多视图联邦推荐系统 |
| CN114610911B (zh) * | 2022-03-04 | 2023-09-19 | 中国电子科技集团公司第十研究所 | 多模态知识本征表示学习方法、装置、设备及存储介质 |
| CN114610911A (zh) * | 2022-03-04 | 2022-06-10 | 中国电子科技集团公司第十研究所 | 多模态知识本征表示学习方法、装置、设备及存储介质 |
| CN114661951A (zh) * | 2022-03-22 | 2022-06-24 | 腾讯科技（深圳）有限公司 | 一种视频处理方法、装置、计算机设备以及存储介质 |
| CN114912020B (zh) * | 2022-04-21 | 2023-06-23 | 华东师范大学 | 一种基于用户偏好图的多子目标对话推荐方法 |
| CN114912020A (zh) * | 2022-04-21 | 2022-08-16 | 华东师范大学 | 一种基于用户偏好图的多子目标对话推荐方法 |
| CN116108169A (zh) * | 2022-12-12 | 2023-05-12 | 长三角信息智能创新研究院 | 一种基于知识图谱的热线工单智能分派方法 |
| CN116108169B (zh) * | 2022-12-12 | 2024-02-20 | 长三角信息智能创新研究院 | 一种基于知识图谱的热线工单智能分派方法 |
| CN116090360A (zh) * | 2023-04-12 | 2023-05-09 | 安徽思高智能科技有限公司 | 一种基于多模态实体对齐的rpa流程推荐方法 |
| CN117540102A (zh) * | 2023-12-04 | 2024-02-09 | 中国科学院地理科学与资源研究所 | 一种基于知识图谱和多模态数据的生态文明模式推荐方法 |
| CN117540102B (zh) * | 2023-12-04 | 2024-07-09 | 中国科学院地理科学与资源研究所 | 一种基于知识图谱和多模态数据的生态文明模式推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112836120B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112836120B (zh) | 一种基于多模态知识图谱的电影推荐方法、系统及终端 | |
| CN108763493B (zh) | 一种基于深度学习的推荐方法 | |
| WO2021223567A1 (zh) | 内容处理方法、装置、计算机设备和存储介质 | |
| Tsang et al. | Feature interaction interpretability: A case for explaining ad-recommendation systems via neural interaction detection | |
| CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN111046275B (zh) | 基于人工智能的用户标签确定方法及装置、存储介质 | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| US20170024645A1 (en) | Dynamic Memory Network | |
| CN110555112A (zh) | 一种基于用户正负偏好学习的兴趣点推荐方法 | |
| Li et al. | Image sentiment prediction based on textual descriptions with adjective noun pairs | |
| CN112632403B (zh) | 推荐模型的训练方法、推荐方法、装置、设备和介质 | |
| CN111488931A (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
| CN111783903B (zh) | 文本处理方法、文本模型的处理方法及装置、计算机设备 | |
| KR20190053481A (ko) | 사용자 관심 정보 생성 장치 및 그 방법 | |
| CN111522979B (zh) | 图片排序推荐方法、装置、电子设备、存储介质 | |
| CN113011172A (zh) | 文本处理方法、装置、计算机设备和存储介质 | |
| Xia et al. | A regularized optimization framework for tag completion and image retrieval | |
| CN115344698A (zh) | 标签处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN115114974A (zh) | 一种模型蒸馏方法、装置、计算机设备和存储介质 | |
| CN117271818B (zh) | 视觉问答方法、系统、电子设备及存储介质 | |
| CN116561446B (zh) | 多模态项目推荐方法、系统及设备和存储介质 | |
| CN114330704A (zh) | 语句生成模型更新方法、装置、计算机设备和存储介质 | |
| CN112862538A (zh) | 预测用户偏好的方法、装置、电子设备和介质 | |
| Zeng | Application of conditional random field model based on machine learning in online and offline integrated educational resource recommendation | |
| Lu | Design of a music recommendation model on the basis of multilayer attention representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |