随着大数据、深度学习和计算能力的快速发展,近年来自然语言处理性能取得了令人瞩目的成绩,前沿热点层出不穷,得到学术界和产业界的广泛关注。为进一步普及最新前沿动态,推动国内技术发展,发展基础理论与应用,中国中文信息学会学术工作专委会定于2020年11月7日-8日举办中国中文信息学会第15届中文信息学会暑期学校暨前沿技术讲习班(CIPS ATT)。2020年暑期学校/讲习班原定在暑期举办,但由于新冠疫情防控形势影响,延期至今并改为在线直播,面向公众完全免费。暑期学校/讲习班邀请了来自国内外研究第一线的知名青年专家学者系统讲述基础理论、深度学习、认知推理、对话系统等方面的前沿动态,为感兴趣的学者、学生和工程师提供系统学习和交流的机会,快速了解这些前沿方向的基本概念、研究内容和发展趋势。
CIPS ATT-21 |
||
11月7日 |
||
09:00-12:00 |
Neural and Symbolic Logical Reasoning on Knowledge Graphs [▶] |
唐 建 (加拿大蒙特利尔大学) |
14:00-17:00 |
量子理论与自然语言处理 [▶] |
张 鹏 (天津大学) |
11月8日 |
||
09:00-12:00 |
基于对话系统的信息获取 [▶] |
黄民烈(清华大学) |
14:00-17:00 |
自然语言处理中的预训练模型 [▶] |
邱锡鹏(复旦大学) |
本次讲习班邀请了在自然语言处理领域较早开展深度学习研究并取得众多成果的几位青年学者讲授深度学习理论知识,以及自然语言处理中的应用。按授课顺序,他们包括:
报告题目:Neural and Symbolic Logical Reasoning on Knowledge Graphs报告人:唐 建(加拿大蒙特利尔大学)[个人主页] |
Reasoning on knowledge graphs is a fundamental problem and important in a variety of applications such as recommendation in E-commerce, drug repurposing in Biomedical knowledge graphs. In this tutorial, I will give a complete introduction to the latest progress on reasoning on knowledge graphs including: (1) knowledge graph embedding based approaches (e.g., TransE, TransR, and RotatE); (2) traditional inductive logic programming approaches and recent neural logic programming approaches; (3) and latest progress on combining neural and symbolic logic approaches for knowledge graph reasoning.
唐建博士现任加拿大蒙特利尔学习算法研究所(Mila) 以及蒙特利尔大学计算机学院、商学院助理教授,加拿大人工智能讲习教授。主要研究兴趣包括图表示学习、图神经网络,生成模型、知识图谱以及药物发现。2014年于北京大学信息科学技术学院获得博士学位,2014-2016年任职微软亚洲研究院副研究员,2016-2017年密歇根大学和卡内基梅隆大学联合培养博士后。2014年博士期间获得机器学习三大顶级会议ICML的最佳论文,2016年获得数据挖掘顶级会议WWW的最佳论文提名,2020年获得Amazon以及腾讯教师研究奖。他是图表示学习领域的代表性人物,发表了图表示学习领域一系列代表性的工作如LINE、LargVis、RotatE等。他发表的图表示学习算法LINE被广泛认可,是WWW会议在2015-2019期间引用次数最多的论文。
报告题目:量子理论与自然语言处理报告人: 张 鹏(天津大学)[个人主页] |
量子理论已经应用于计算机科学、心理学、认知科学、社会学等多个宏观领域。特别地,在人工智能方向,衍生出量子机器学习和量子信息检索等新兴的研究方向。本讲座将主要介绍将量子理论应用于信息检索和自然语言处理等领域的基本思想、主要模型和前沿进展。重点讲述:(1)量子理论的基本知识;(2)量子信息检索的发展历史;(3)量子语言模型;(4)神经网络与量子多体语言模型;(5)预训练语言模型的优化;(6)量子人工智能的前景与展望。
张鹏,天津大学智能与计算学部副教授,计算机学院副院长,入选天津大学北洋学者-青年骨干教师计划,微软亚洲研究院铸星计划。十余年来致力于量子信息检索和量子语言模型的研究工作,并积极推动相关研究成果的落地应用。微软学术搜索中,在量子信息检索和量子语言模型研究主题下均名列前茅。目前担任中国中文信息学会青年工作委员会执行委员,中国人工智能学会青年工作委员会委员,曾任第五十七届国际计算语言学协会年会(ACL 2019)领域主席。发表论文包括中国计算机学会(CCF)推荐A/B类会议论文(NeurIPS, SIGIR,ICLR,ACL,IJCAI,AAAI,WWW,CIKM,EMNLP)和期刊论文(TNNLS,TKDE,TIST,IP&M)。获得SIGIR 2017 最佳论文奖提名奖,ECIR 2011 最佳短论文奖,ICLR 2020 亮点论文等学术奖励。
报告题目:基于对话系统的信息获取报告人: 黄民烈(清华大学)[个人主页] |
对话系统近几年成为人工智能领域的研究热点之一。本讲座将以信息获取作为主线,介绍对话系统的背景、问题、挑战和主要研究进展。主要内容将涵盖:1)对话系统的历史、分类、主要问题和挑战;2)任务完成型的对话系统;3)对话式问答与阅读理解问题;4)知识赋能的对话系统;5)对话式推荐系统;6)未来研究的趋势与挑战。
黄民烈博士,清华大学计算机科学与技术系长聘副教授。 他的研究兴趣包括深度学习、自然语言处理等,尤其是对话系统、语言生成和情感分析。2019年获得中国人工智能学会吴文俊人工智能科技进步奖一等奖(排名第一),对话系统的研究于2019年获得国家自然科学基金重点项目资助。获得2018年中文信息学会汉王青年创新奖,2019年阿里巴巴创新合作研究奖,入选ACL 2019最佳演示论文候选,获得SIGDIAL 2020最佳论文奖,NLPCC 2020最佳学生论文,IJCAI 2018杰出论文奖,CCL 2018最佳演示奖,NLPCC 2015最佳论文奖,获得NTCIR2017年组织的短文本对话生成评测冠军。研发对话系统平台ConvLab和ConvLab2,并多次组织国内外有影响力的对话系统评测与竞赛(DSTC8,DSTC9)。担任顶级期刊TNNLS(SCI一区,影响因子>11)编辑,顶级期刊TACL的执行编辑,顶级会议ACL 2021 Diversity&Inclusion联合主席,EMNLP 2021研讨会联合主席,ACL 2020/2016、EMNLP 2020/2019/2014/2011、AACL 2020的领域主席,AAAI 2017-2020和IJCAI 2017-2020的高级程序委员。
报告题目:自然语言处理中的预训练模型报告人: 邱锡鹏(复旦大学)[个人主页] |
目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。
邱锡鹏,复旦大学计算机科学技术学院教授,博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究,发表CCF A/B类论文70余篇,获得ACL 2017杰出论文奖(CCF A类)、CCL 2019最佳论文奖。出版开源专著《神经网络与深度学习》,Github关注人数1.3万,豆瓣评分9.6分。曾获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer"2020年度AI 2000人工智能全球最具影响力提名学者"等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、微软学者、微软学者提名、百度奖学金、上海市优博提名等。