凝聚现象与大模型推理机制
数学专题报告
报告题目(Title)：凝聚现象与大模型推理机制
报告人(Speaker)：许志钦 教授（上海交通大学）
地点(Place)：后主楼1124
时间(Time)：2026年11月11日（周三）15：00-16：00
邀请人(Inviter)：段玉萍
报告摘要
为了达到更好的性能，深度神经网络的参数量通常会被设为非常大。为什么一个如此多参数的模型会泛化好？这是一个重要且有趣的问题。这个报告从凝聚现象提供一种理解，对于泛化好的网络常常能观察到同层神经元会趋同。我们发现并深入挖掘这个现象及其背后的原理，理解初始化和权重衰减如何影响凝聚现象，并用它来理解大模型的推理。
主讲人简介
许志钦，上海交通大学自然科学研究院/数学科学学院教授。2012年本科毕业于上海交通大学致远学院。2016年博士毕业于上海交通大学，获应用数学博士学位。2016年至2019年，在纽约大学阿布扎比分校和柯朗研究所做博士后。主要研究工作包括深度学习的频率原则、凝聚现象、以及大模型记忆和推理相关工作，见《深度学习现象导论：从感知机到大模型》。
