初探预训练模型的"能"与"不能"
以BERT和GPT为代表的预训练模型在自然语言处理领域掀起了一场新的革命，显著地推进了各种自然语言处理任务的性能。在本报告中，讲者将试图讨论当前的预训练语言模型到底学会了什么，还欠缺什么，尤其GPT这类语言生成模型的“能”和“不能”。最后讨论当前在预训练模型中通过融入知识、知识增强的再训练、施加显式控制等手段增强预训练模型的性能。
简介：黄民烈博士，清华大学计算机科学与技术系长聘副教授。他的研究兴趣包括深度学习、自然语言处理等，尤其是对话系统、语言生成和情感分析。2019年获得中国人工智能学会吴文俊人工智能科技进步奖一等奖（排名第一），对话系统的研究于2019年获得国家自然科学基金重点项目资助。获得2018年中文信息学会汉王青年创新奖，2019年阿里巴巴创新合作研究奖，入选ACL 2019最佳演示论文候选，获得SIGDIAL 2020最佳论文奖，NLPCC 2020最佳学生论文，IJCAI 2018杰出论文奖，CCL 2018最佳演示奖，NLPCC 2015最佳论文奖，获得NTCIR2017年组织的短文本对话生成评测冠军。研发对话系统平台ConvLab和ConvLab2，并多次组织国内外有影响力的对话系统评测与竞赛（DSTC8，DSTC9）。担任顶级期刊TNNLS（SCI一区，影响因子>11）编辑，顶级期刊TACL的执行编辑，顶级会议ACL 2021 Diversity&Inclusion联合主席，EMNLP 2021研讨会联合主席，ACL 2020/2016、EMNLP 2020/2019/2014/2011、AACL 2020的领域主席，AAAI 2017-2020和IJCAI 2017-2020的高级程序委员。他的主页位于http://coai.cs.tsinghua.edu.cn/hml/。