林欣然一点点翻看师弟写的代码,虽然写代码不行,但是阅读代码逻辑她还是没问题的。
这些代码虽然写得更加严密,但的确可以看出是出自她的程序,逻辑和功能是相同的。
林欣然感叹,幸好江铭只是帮她把代码改写了一下,不是从头推倒重写。
不然她这个师姐的脸面该往哪里放呀!
但是...为什么相同的逻辑,师弟的改写的代码会跑的这么好,损失下降的这么平稳啊!
“不对,一定有逻辑有区别的地方。”,林欣然俯身在电脑前面,眼睛一行行地扫过江铭改过的代码,几乎要钻到电脑里了。
还好江铭的代码足够清晰,每一个功能都单独写成了小的模块单元,不然一般人还真难以在短时间内看完。
林欣然一边阅读,一边和自己印象中的代码逻辑对照,还真找出不少区别。
江铭好心地为她的代码加了很多边界条件和异常处理,至少这个代码应该不会总挂了。
但是这些区别...
她知道代码稳定性的增加远远不至于让训练结果出现损失曲线图像所显示出的那样天翻地覆的变化。
林欣然把江铭的代码前前后后盘了四遍,才终于确认师弟代码与自己所写的最大区别就在参数优化的一行公式上!
问题是这公式是哪里来的?
林欣然立刻打开学术网站,检索近期有关参数优化的论文,却一无所获。
总不能,是师弟自己发明的吧...
....
“参数优化就像在一片高维世界的山脉中寻找最深的山谷,随机梯度下降就是跟随山的走势一步一步向下探索。”
徐建华正在金陵大学研讨会上做信息学的成果综述汇报。
往年这种活一般轮不上他,望着台下数十位其他学院的高级教授,徐建华只觉得自己有些格格不入。
也不知道是因为郑宁和自己不对付的事情人尽皆知,还是因为自己收下江铭做学生拉了太多仇恨,徐建华总觉得这次研讨会台下的气氛不太对。
“呵...徐教授,你说的这个随机梯度下降法我明白了,但这明显只对凸的问题有效啊,你怎么证明在机器学习领域里你的问题都是凸优化呢?”,一位数学系的老教师站起质疑道。
“就好比说这个山如果有很多深浅不一的小山谷,你这个算法进到第一个山谷就出不来了,我说的对吧,徐教授。”
这位教授的问题的确一针见血,他最后的徐教授三个字念的很重,充满了不屑和轻蔑。
徐建华沉吟了一会儿,微笑着解释道:“感谢张教授的提问,的确在三维的世界中会出现这种情况,但在更高维的空间中往往不会出现这种问题。”
“还是用山脉的例子,如果加上时间作为第四个纬度,那么这个山在几亿年前可能是一片平地,不断被河流和风化的侵蚀,逐渐出现一个个山谷。”
“那么最深的那个山谷一定是侵蚀速度最快的,其他山谷的速度没它快,因此三维的小山谷仍然可以顺着第四个纬度滑向最深的那个山谷去。”
“更何况,参数优化所面临的问题是几百维的参数空间,几乎是不可能遇到一个在几百维都刚好处于山谷的情况。”
徐建华的解答赢得了台下的掌声,他微笑着缓步走下讲台,脸色却逐渐阴沉。
这些教授真是越来越不好对付了,故意提问题刁难他。
谁都知道,信息学所处的数学基础并不足够扎实,但是这是工科!
工科所处的现实世界里,只要解决99%的问题就行,哪有数学所研究的问题那样完美的证明?
难道现实世界里会存在数学所研究的完美的球体吗?
轻叹了一口气,徐建华拿出手机,却看到数十个未接来电。
短信也有好几个,都是自己的学生林欣然发来的。
林欣然就是如此,一点点事都要大呼小叫和他汇报,之前甚至还说实验室闹鬼要他处理呢。
他无奈点开短信,一条条翻看,脸上忽然露出惊讶的神色。
“啊啊啊啊啊!我的亲亲导师,江铭改我实验代码!”
“哈哈哈哈哈哈,天呐老师,学霸师弟的代码写得太好了!”
“卧槽,我的江救星好像在参数优化那里做出了了不得的创新,小徐你快来看看吧。”
才过了半小时,自己就从亲亲导师变成小徐了,徐建华满脸黑线的起身。
这破研讨会不参加也罢,自己回实验室看看江铭又给他搞了什么大新闻去。