像孩子一样学习:多模态基础模型训练和应用

摘要:人类的孩子在多模态环境下进行学习,多模态基础模型是AI在多模态环境中学习世界表示和语言的探索。我将介绍我们在多模态基础模型训练方面的工作,揭示其强大的语义表征和模态融合能力,在下游任务上的优秀性能,以及我们在模态扩展、语言扩展、对话和交互等方面的最新进展。


简介:文继荣,教授,现任中国人民大学信息学院院长、高瓴人工智能学院执行院长。长期从事大数据和人工智能领域的研究工作,担任国际会议SIGIR 2020程序委员会主席、国际期刊ACM TOIS和IEEE TKDE编委等。曾任微软亚洲研究院高级研究员和互联网搜索与挖掘组主任。到中国人民大学工作后,积极致力于推动人民大学人工智能和大数据的研究和教学,特别是新技术与相关学科的交叉。2013年入选国家“海外高层次人才计划”特聘专家,2018年入选首批“北京市卓越青年科学家”,2019年担任北京智源人工智能研究院首席科学家。