大模型知识密度定律
摘要:2018年以来大模型规模不断增大、产生智能涌现,验证了OpenAI提出的模型规模法则(Scaling Law),特别是ChatGPT的推出引发全世界对大模型技术的关注。面向未来,大模型的发展趋势是什么,就是不断增加模型参数规模以追求更多能力涌现么?本报告发现,过去大模型在印证规模法则的同时,还呈现知识密度持续增强的规律,可称为大模型知识密度定律。我们认为面向未来,我们更应从模型架构、成长算法和数据治理等方面不断改进模型制造工艺,提升模型制程,保证大模型知识密度定律的可持续,这将为我们揭示端侧智能的巨大潜力。
简介:刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位,已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文200余篇,Google Scholar统计引用超过4.8万次。曾获教育部自然科学一等奖(第2完成人)、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖(第2完成人)、中国中文信息学会汉王青年创新奖,入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会理事、社会媒体处理专委会副主任,期刊AI Open副主编,ACL、EMNLP、WWW、CIKM、COLING等国际著名会议领域主席。