整流幂次单元深度网络逼近在微分方程学习和计算中的应用
数学专题报告
报告题目(Title)：整流幂次单元深度网络逼近在微分方程学习和计算中的应用
报告人(Speaker)：于海军 研究员(中国科学院数学与系统科学研究院)
地点(Place)：后主楼 1124
时间(Time)：2023 年 04 月 11 日(周二), 10:00-11:00
邀请人(Inviter)：蔡永强
报告摘要
整流线性单元(ReLU)是深度网络中最常用的的激活函数。 ReLU网络由于易于训练，且具有较好的逼近性质，在图像处理等领域得到广泛应用。但是导数的不连续性限制了其在一些对光滑性要求较高场合的应用，比如求解偏微分方程的DeepRitz方法和PINN方法等。针对此问题，我们提议使用整流幂次单元(RePU)网络。我们首先通过使用一类稳定的构造算法，给出此类网络逼近光滑函数的一个误差上界。 这个构造方法同时清晰的揭示了深度RePU网络同谱方法多项式逼近之间的紧密关联。针对RePU非全局Lipschitz连续、应用到深度网络中较难训练的问题，我们提出了正则化的整理幂次单元(RePUr),使相应的深层网络能够被有效的训练。 最后我们给出RePU深度网络在几类典型计算数学问题上的应用，包括函数回归，微分方程学习和求解, 模型降维等。这些应用验证了RePU和RePUr网络的优越性。
主讲人简介
于海军，中国科学院数学与系统科学研究院研究员。分别于2002年,2007年获得北京大学学士学位和博士学位。2007-2010年曾先后在美国普林斯顿大学和普渡大学从事博士后研究。主要研究方向为高精度数值方法。在复杂流体的数学建模和计算，高维偏微分方程稀疏网格谱方法，非梯度系统的相变路径高精度计算等方面取得多项重要成果。先后获得过中科院陈景润之星人才项目，基金委重大研究计划和国际合作项目等资助。现任北京市计算数学学会理事，中国工业与应用数学学会大数据与人工智能专委会委员。
