信通学院第七届“交流月”系列讲座2:神经网络的动态低维结构与稳健性提升
发布于:2022-06-09 09:22:57   |   作者:[学院] 信通学院   |   浏览次数:4860
讲座主题:神经网络的动态低维结构与稳健性提升

特邀专家:黄晓霖 副教授

讲座时间:6月15日 15:30

讲座地点:腾讯会议:869-111-526



主讲人简介:
       黄晓霖副教授,本科毕业于西安交通大学、博士毕业于清华大学,博士后工作于比利时鲁汶大学,并在德国埃尔朗根-纽伦堡大学任洪堡学者,现为上海交通大学电子信息与电气工程学院副教授、博士生导师。他长期从事机器学习理论与算法研究,发表论文五十余篇,其中十余篇发表于领域重要期刊《Journal of Machine Learning Research》《IEEE Transactions on Pattern Analysis and Machine Intelligence》《Applied and Computational Harmonic Analysis》,主持国家自然科学基金面上项目、JWKJW创新专项,参与“2030新一代人工智能”重大专项和“人工智能前沿基础理论与关键技术”上海市科技重大专项。2017年入选国家特聘专家(青年项目)。
讲座内容简介:
       深度神经网络的参数量极大,产生了很多冗余的特征,这也是神经网络存在对抗样本的根本原因之一。找到有效的低维结构、有效地去除冗余有望很好地控制神经网络、提升其稳健性。通过分析神经网络的动态特性,我们提出了神经网络动态低维结构,发展了新的降维方法,能够在很低维的空间中对神经网络进行有效的训练。实验表明,对于CIFAR级别的任务,在40维空间对具有千万个参数的神经网络进行训练就能够达到标准训练的效果,并具有很好的稳定性。在提取的低维空间中进行对抗训练,能够有效克服过拟合现象,使单步对抗训练达到多步对抗训练的效果。