CoLAKE：基于“语言-知识”联合上下文的预训练模型
近年来，以BERT为代表的预训练模型已经在诸多自然语言理解任务上取得了突破性进展，但也有许多工作表明这些预训练模型仍然存在知识匮乏问题。目前，将符号知识加入到预训练语言模型已经成为一个新兴研究方向。已有研究大多是将预训练的实体向量融入语言模型，在语义理解时只建模了语言的上下文而没有建模实体知识的上下文。本报告介绍一种可以同时建模语言和知识上下文的预训练模型CoLAKE（Contextualized Language and Knowledge Embedding）。CoLAKE将语言与知识的上下文通过统一的异构图进行建模，使用扩展的掩蔽语言模型在大规模无标注语料和知识图谱上进行预训练。CoLAKE在实体分类、关系抽取、LAMA等知识驱动任务上取得了显著提升。实验表明，CoLAKE可以为 “语言-知识”联合场景中的大部分任务提供一种通用预训练模型。
简介：邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖。出版开源专著《神经网络与深度学习》，Github关注人数1.3万，豆瓣评分9.6分。曾获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer"2020年度AI 2000人工智能全球最具影响力提名学者"等。主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用。