SMP 2021 社交多媒体论坛
论坛概况
论坛时间：待定
论坛形式：专家报告
论坛简介：随着信息采集手段与交互方式的发展，社交媒体日益凸显出图像、文字、音视频等相互交融的多模态特性。相较于单一的文本模态，多模态信息以其更为丰富多元的信息呈现，为人工智能的应用落地和大数据的价值闭环提供了极富想象力的可能性，但同时也在语义理解和知识提取等任务上带来了更大的挑战。继去年九月成功举办首届社会多媒体论坛之后，本届论坛再次聚焦这一新兴研究领域，邀请到来自东南大学、同济大学和阿里达摩院的三位专家学者进行分享，围绕多模态知识图谱、多模态预训练、智能化可视生成等热门研究话题展开讨论，力图为传播社交多媒体最新学术研究与技术成果搭建交流平台。
论坛主席：徐童（中国科学技术大学副教授）
主席简介：徐童，中国科学技术大学副教授，硕士生导师。现为中国计算机学会高级会员、中国中文信息学会情感计算专委会执行委员、青年工作委员会委员与社会媒体处理专委会通讯委员。近年来，在相关领域国际重要期刊及会议发表论文70余篇。主持国家自科面上/青年项目、国家重点研发计划子课题、微软亚洲研究院合作项目、百度松果计划项目等多个科研项目。受邀担任第11届IEEE国际知识图谱会议、2020全国社会媒体处理大会、2018全国知识图谱与语义计算大会等会议领域主席及KDD、AAAI、IJCAI、SDM、EMNLP等重要国际会议程序委员会委员。获国际学术会议KSEM 2020最佳论文奖。
论坛嘉宾
漆桂林 东南大学计算机与软件工程学院 教授
报告主题：多模态知识图谱技术及应用
报告摘要：信息抽取技术已经被广泛用于处理结构化数据和文本数据，但是还有一类非结构化数据，即视觉数据，则相对关注度较低，而且相缺乏有效的技术手段来从这些数据中提取结构化知识用于构建知识图谱。最近几年，虽然有一些多模态视觉技术提出，这些技术主要还是为了提升图像分类、图像生成、图像问答的效果，不能很好地支撑多模态知识图谱的构建。本报告中，我将介绍多模态知识图谱（multi-modal knowledge graph）的相关技术和应用。首先对多模态知识图谱的定义做一个探讨，特别是多模态知识图谱跟传统知识图谱的差异；其次介绍如何从多模态数据（主要是图像和文本）中抽取实体关系和抽取事件、进行实体链接、对多模态知识图谱做表示学习；最后，介绍多模态图谱在电商和情报分析方面的应用。
嘉宾简介：漆桂林，东南大学计算机与软件工程学院教授、东南大学认知智能研究所所长、南京柯基数据科技有限公司首席科学家、OpenKG发起人之一、中国中文信息学会语言与知识计算专业委员会副主任、中国科学技术情报学会知识组织专业委员会副主任和江苏省人工智能学会知识工程与智能服务专委会副主任、国际期刊 Journal of Data Intelligence 的执行主编、国际期刊 Journal of Web Semantics 的副主编和 Semantic Web Journal 的编委、Journal of Big Data Research的编委、世界三大出版集团之一的爱思唯尔（Elsevier）的数据管理顾问委员会顾问、情报工程期刊编委。获得“江苏省六大人才高峰”资助和“创业南京高层次人才”资助。所取得的科研成果在工业界中得到实际应用，产生了实际效益，在司法类案推送、电商数据分析、电力故障智能检测和知识推送、医药知识问答、军事决策系统和安全决策系统中落地，产业化前景广阔。
曹楠 同济大学 教授
报告主题：智能可视化生成与数据新闻创作
报告摘要：人工智能技术的快速发展为可视化领域带来了新的契机。打破传统低效的手工作坊式的可视化创作过程，人工智能技术的让自动可视化生成成为了可能。近些年来，智能大数据可视化实验室，在该领域展开了一系列相关研究，在本次报告中，曹楠教授将介绍自动可视化生成的基本理论及相关技术。并以自动数据新闻生成为案例，演示智能可视化设计所带来的不一样的可视化内容创作过程。
嘉宾简介：曹楠是同济大学长聘轨正教授，博士生导师，同济大学智能大数据可视化实验室主任，曾入选国家海外高层次人才引进计划。曹楠毕业自香港科技大学，获得计算机博士学位。加入同济前，曹楠曾担任美国IBM 沃森研究院研究员以及IBM全球可视化及图形学会联合主席。他在IBM 研究部门工作的近十年中，曾获得IBM杰出技术成就奖、IBM 杰出研究成就奖、以及多项 IBM创新成就奖。曹楠主要研究方向是数据可视化与可视分析，累计在相关领域发表期刊及会议论文90余篇（包括40余篇CCF A类论文），获得发明专利20余项，曾获得 “微软最有价值专家” 称号 及 “ACM上海新星奖”。他是 SCI 期刊 Computer Science Review (IF: 7.707) 在亚太地区的唯一编委，曾担任 IEEE PacificVis 2021 会议论文主席，ChinaVis 2018-2019 会议论文主席，IEEE InfoVis，VAST， EuroVis、AAAI、IJCAI、等可视化、人工智能、及数据挖掘领域诸多顶级国际学术会议的程序委员会委员，以及重要学术期刊（例如，IEEE TVCG，IEEE TMM， ACM TIIS，ACM TIST）的客座编委。
林俊旸 阿里巴巴达摩院智能计算实验室 算法专家
报告主题：超大规模多模态预训练模型M6的研发与应用
报告摘要：预训练领域自BERT以来，发展如火如荼，数据和模型的规模在不断扩大，数据类型从纯文本发展到多模态，领域内大量成功的工作证明了超大规模多模态预训练的效果与潜力。其中GPT-3和DALLE作为具有代表性的超大规模预训练模型的代表性工作，在纯文本和跨模态的领域均展现出强大的理解和生成能力。在2021年以前，国内还缺乏超大规模预训练模型的研发实践，而中文多模态预训练模型更是屈指可数。今年以来，达摩院智能计算实验室联合阿里巴巴计算平台PAI团队以及清华大学，研发了超大规模中文多模态预训练模型M6，参数规模达到千亿，训练数据规模达到TB级别，是当前世界上规模最大的多模态预训练模型。M6模型架构基于transformer layer构成，多模态输入数据无需复杂的预处理，灵活的训练策略允许模型学习多种类型的理解和生成任务。同时千亿参数M6模型基于Mixture-of-Experts架构构建，利用阿里自研框架Whale实现灵活的专家并行，并结合多项技术优化实现用较少的GPU资源实现超大规模模型的训练，在保证效果的同时具备极高的训练效率。目前M6可以通过finetuning甚至零样本学习的方式灵活迁移到基于文本的图像生成、跨模态问答、图像描述、跨模态检索等下游任务并取得显著效果提升，此外M6模型也将其能力应用到阿里多个实际业务场景中。
嘉宾简介：林俊旸，现任阿里巴巴达摩院智能计算实验室算法专家，2019年毕业于北京大学。目前主要研究领域包括自然语言处理及多模态表征学习，侧重于多模态预训练及其应用，曾在自然语言处理、机器学习等领域以第一作者和共同作者的身份在多个顶级会议，包括ACL、KDD、EMNLP、NeurIPS、ICML等发表多篇论文。近期的研究工作集中于超大规模多模态预训练基础研发，以及其相关下游应用如图像生成、自然语言生成、跨模态检索等，同时关注大规模模型在少样本学习和零样本学习等场景的应用。自然语言生成及预训练相关工作已经落地到阿里推荐业务场景中，实现业务效果提升并优化用户体验。