计算机研究与发展

作者：胡旭阳,王治政,孙媛媛,徐博,林鸿飞,

关键词：知识图谱表示学习, BERT模型, 语义解析, 负采样, 剪枝,

为解决大多数知识图谱表示学习模型仅使用三元组信息的问题，提出融合语义解析的知识图谱表示模型BERT-PKE.模型利用实体和关系的文本描述，通过BERT的双向编码表示进行语义解析，深度挖掘语义信息.由于BERT训练代价昂贵，提出一种基于词频和k近邻的剪枝策略，提炼选择文本描述集.此外，由于负样本的构造影响了模型的训练，提出2种改进随机抽样的策略：一种是基于实体分布的负采样方法，以伯努利分布概率来选择替换的实体，该方法可以减少负采样引起的伪标记问题；另一种是基于实体相似性负采样方法，首先用TransE将实体嵌入到向量空间，使用k-means聚类算法将实体进行分类.通过同簇实体的相互替换可获得高质量的负三元组，有利于实体的特征学习.实验结果表明，所提出BERT-PKE模型与TransE,KG-BERT,RotatE等相比，性能有显著提升.

来源：2022年第12期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2022年第12期