第481章 梯度爆炸和网络退化

　　这天，江寒刚下课，展飞忽然召见。
　　见面后，校长大人爽朗一笑：“小江啊，最近工作挺辛苦的吧？”
　　“还行。”
　　江寒随口应和了一句，有点弄不清对方葫芦里到底卖的什么药。
　　展飞关怀了几句后，笑眯眯地说：“基于你在‘九章’和教学上的成绩，咱们学校给你争取了个待遇。”
　　“待遇？”江寒一怔。
　　自己的待遇还不够好吗？
　　才二十岁就评上了副教授。
　　要知道，由于名额有限，很多任教二十来年，四十来岁的“老”教师，还在排队等着呢！
　　展飞笑着说：“副教授只是职称，远远不能匹配你的能力和贡献，所以经过研究，跟上面争取了一个名额……”
　　跟着介绍了一下详细情况。
　　“待遇比照青千计划？”江寒十分意外。
　　“青千计划”可不容易入选。
　　50万的生活补助、3年100万~300万元的科研经费补助……
　　种种条件，不知会让多少人羡慕、嫉妒、恨！
　　不过，“青千计划”面向的是海归学者，而自己是彻头彻尾的本土派……
　　展飞对此的解释是：“对于特殊人才，自然要有特殊的政策。”
　　他的意思很简单：待遇应该与贡献和科研能力挂钩，不该以出身论英雄！
　　并且，江寒没有海外求学经历，却能媲美任何“青千计划”的人选，在展飞看来，这一点尤其可贵！
　　这个待遇也是江寒应得的。
　　其他成就姑且都不论，一个“九章”原型机，就足够他被特殊对待了。
　　回到办公室后，江寒刷了会儿“材料学”方面的论文。
　　就在这时，方源来了。
　　小方同学已经正式入学了，成了科大少年班的一名新生。
　　他原本只打算先过来读个预科，没想到展飞在这件事上，又开了次绿灯……
　　“方源同学，过来坐。”江寒笑着招手。
　　方源腼腆一笑：“老板……”
　　江寒潇洒一摆手：“在学校，叫老师就行。”
　　“嗯，江教授。”
　　“什么事？”
　　方源迟疑了一下：“我能不能跟您学习机器学习？”
　　江寒莞尔一笑：“这有什么不行的？不过你得先把高数的基础打好，在机器学习离不开数学。”
　　方源点了点头：“这个我知道，其实这段时间，我已经把高数和线性代数看完了，题也做了不少。”
　　江寒眼睛一亮：“哦？挺给力的嘛！”
　　微微沉吟了一下，又说：“那我给你出套卷子，看看你的水平。”
　　方源用力点头：“没问题！”
　　江寒只用了二十分钟，就出好了卷子。
　　主要围绕机器学习可能用到的高数和线代知识。
　　题目不简单，覆盖面也挺广。
　　但让江寒意外的是，方源比他想象中更加给力。
　　这小子只用了一个小时，就以满分的成绩，完成了试卷！
　　江寒十分满意：“不错！有这个水平，你的确可以入门机器学习了。”
　　接下来，他就找了基本相关的教材，扔给小方同学，让他回去自学，有不懂的再来问……
　　方源礼貌告辞，临走带上了门。
　　江寒则继续刷论文。
　　忽然，邮箱助手弹出了一条消息：“您有一封新邮件。”
　　江寒随手点开，密密麻麻都是字母。
　　江寒哑然失笑：“大概又是什么广告？”
　　再仔细一看，竟然不是英文，打开浏览器，复制、粘贴、搜索。
　　这才发现，原来是德语。
　　江寒并没学过德语，不过借助网络和词典，还是能弄清楚大概意思的。
　　半个小时后，江寒翻译完了这封信。
　　来信者自称“汉斯”，是德国某着名大学的教授。
　　他说自己对“人工神经网络”十分有兴趣，并且，在看到江寒的论文后，也深入学习了一番。
　　还仿照那上面的内容，自制了一些简单的CNN、RNN之类的网络……
　　随后又说，他碰上了一些很麻烦的问题，希望江寒能不吝赐教。
　　比如，他在试验某个多达127层的深度学习模型时，每次训练到大约三分之一进度，就会出现各种意想不到的问题。
　　问题的类型，随超参数的选择而有所不同。
　　比如随着网络深度的增加，参数的梯度范数指数式减小，参数的变化十分缓慢，学习过程接近停滞；
　　又或者，给定层的隐藏单元的维度变得越来越低，参数矩阵的乘积变得越来越线性相关……
　　汉斯诚恳地询问，江寒知不知道造成这些情况的原因，以及有没有办法解决？
　　江寒沉思了一会，便在电脑上回信。
　　“您在来信中反映的问题，我也遇到过，前者，称作梯度消失，或者爆炸，后者，我把它叫做‘网络退化’，这主要是由于当网络层数过深时……”
　　“有时，增大全局的梯度范数，会导致性能下降，而引入另一种运算，减小梯度范数，却有可能大幅提升网络的性能……”
　　“至于解决的办法，我也只有一些基于个人经验的小技巧，并不能给出严格的证明。”
　　“这些小技巧，我打算整理一下，于接下来几个月中发表，请关注XXX或xxx杂志，期待您的指正。”
　　写完回信，江寒便将其发送了出去，随后继续一丝不苟地刷论文……
　　时间荏苒，一晃又是两个月过去。
　　期末考试之后，江寒处理完琐事，便带着方源飞回了松江。
　　寒假中间，苏婉莹和靳雪雯来了松江。
　　靳雪雯是来外婆家过年，苏婉莹则自称想夏雨菲了……
　　四人聚在一起，吃喝玩乐不在话下。
　　可惜，生活从来不是只有岁月静好，烦恼什么时候也少不了。
　　江寒最大的烦恼，自然在科研方面。
　　LV2量子计算机，虽然已经借助系统的功能，在虚拟空间里建造完成了。
　　但在解析原理时，却遇上了意想不到的麻烦。
　　也许还是理论掌握得不够多，不够深入？
　　江寒隐约猜到了原因，但也没什么好办法。
　　这不是一朝一夕之功，必须慢慢来。
　　整个寒假，江寒的“业余”时间，都投入到了理解、发展量子力学上。
　　天道酬勤，就在过年前后，他终于有了突破！
　　江寒将自己关于量子力学的心得，写成论文，投给了《理论物理学报》。
　　一个月后，论文通过了评审，并迅速得到发表。
　　江寒本以为自己这一次，只是做出了一点微不足道的小发现。
　　没想到，却引起了巨大的轰动。
　　细究原因，大概是理论物理近年来有些沉寂，已经很久没有新成果了？
　　反正江寒这篇论文，一经问世，顿时搅动了一潭秋水。
　　无数大佬发声，赞叹、惊讶，争相讨论，一时间热闹非常。
　　也有不少人，在江寒工作的基础上，拓展、延伸、补充、探索……
　　不到三个月，几十篇相关领域的新论文，在各种刊物上涌现出来。
　　江寒刷完这些论文，很是有些感慨。
　　“伟人说得果然没错，这就叫人多力量大呀！”
　　他的理论给了别人启发，反过来，别人的研究成果，又能促进他自己的研究。
　　这就叫……良性循环？
　　受到理论突破的催化，不久后，新的契机来临了。
　　虚拟空间中，江寒大笑出声：“原来是这样！怎么我早没想到呢？”
　　功夫不负苦心人，自己花了这么多时间和精力，终于搞清楚了LV2量子计算机中，至关重要的关键！
　　瞬间，全盘贯通。
　　江寒立即行动起来，将自己的最新理解，转化成文字资料、实验记录之类。
　　同时，开始进行LV2量子计算机的图纸重构。
　　系统买来的那套图纸，固然很好很强大，但各方面的技术参数，也十分严苛。
　　比如，光量子发生器之类的器件，完全按照图纸给出的标准，至少20年内都没办法生产出来！
　　无他，工艺没发展到那一步而已。
　　所以，需要稍微取点巧。
　　江寒想到的办法，就是对其进行优化、精简，使其有可能用已有的技术加以实现！
　　两周后，这部分工作顺利完成了，重构的图纸也打印了出来。
　　接下来，就是提交项目计划书，请上面批准、拨款，以打造“九章”第二版。
　　如果上面不同意，其实也没关系，江寒完全可以自掏腰包，在大江的地下室里自己搞！
　　但有了“九章”第一版的成功经验，想必不会遇到太多阻碍？
　　果然，上面并没有让江寒失望，关于打造新“九章”的计划书，获得了超乎想象的重视。
　　不到半个月，便正式立项，经费也很快拨了下来。
　　江寒十分欣喜，只要打造出LV2量子计算机，那么距离唤醒向导，便又近了一大截！
　　他本打算继续和范一合作，共同打造新“九章”。
　　毕竟之前两人合作得相当愉快。
　　没想到，就在项目立项后的第二天，范院士突然被委以重任，去领导某个“量子通信”项目了。
　　江寒则接替了范院士的位置，成为了量子计算中心的“主任”……
　　由于有之前的辉煌战绩，江寒在量子中心里，现在正是人人敬服的状态。
　　所以很顺利地便完成了“权力交接”，新“九章”项目也在他的推动下，迅速启动。
　　接下来大半个学期，江寒每天出入家、教室、实验室，三点一线。
　　日子平淡又充实，新“九章”的进度也日新月异。
　　时间来到6月份。
　　一天，江寒下班后，正走在回家路上，一拐弯，迎面碰上了方源。
　　自从上次从江寒这里拿走不少资料后，这小子就再没上门“骚扰”。
　　看这小子满脸兴奋、形色匆匆的样子……
　　“怎么走这么急？有美女约你吗？”江寒笑问。
　　方源连连摇头：“我这种只会读书学习的，怎么可能有女友？”
　　“那是有什么好事了？”
　　方源点头，紧握双拳：“老板，我成功了！”