林念脑子里瞬间闪过了她老爸林哲的身影!
小时候在硅谷家里,老爸教她写代码的时候,最爱念叨的一句话就是:
“小念,别太迷信那些花里胡哨的高级框架,那都是给懒人准备的拐杖,真正的高手,闭着眼睛都能直接锁死底层的物理内存寄存器!”
这几年,林念在硅谷和北京,见多了那些大公司的顶尖AI博士。
不管是旧金山那个光头伊利亚,还是国内BAT大厂里的首席科学家。
那帮人全都被老爸和老黄充足的显卡给惯坏了。
遇到模型跑得慢,他们从来不去想是不是自己的代码写得太啰嗦、是不是底层通信有浪费,他们唯一的办法就是伸手找老板要钱:“再给我加五万张新显卡!”
那是典型的富家子弟打法,讲究的是拿钱砸人、大力出奇迹。
而今天,在杭州这间连机柜都买不起、只能用超市货架和暖气铜管搭起来的破机房里。
林念居然见到了另外一帮人!
这帮人因为穷、因为买不起好卡,被逼到了墙角,结果他们居然走上了跟老爸当年一模一样的路子。
靠着变态一样的底层代码功底和数学头脑,把一堆没人要的破铜烂铁,硬生生磨成了削铁如泥的飞刀!
林念顿时兴奋不已,彻底忘了自己脖子上还挂着“大学实习生小林”的假工牌,也忘了来之前跟陈博士对好的低调剧本。
林念重新转过头,把脸贴到了第三块大屏幕前面,一眨不眨地盯着上面正在运行的算子调度代码看。
看了一会儿。
林念突然伸出手指头,点在了第三块屏幕中间的一段代码上,开口道:
“梁老板,你们这套手写的底层汇编确实牛,我已经好久没见过写得这么干净的寄存器直接寻址了!”
“不过,你们这第408行到第435行的矩阵切分算子,写得还是有一点点小瑕疵哦!”
啥?有瑕疵?
原本正坐在椅子上喝冰红茶的程序员,一听这话,当场就不乐意了。
这哥们叫老周,以前拿过国际大学生程序设计竞赛的金牌,是幻方里头写底层汇编的一把好手。
老周把冰红茶往桌上一放,皱着眉头抬头看了林念一眼:
“小妹妹,话可不能乱说啊!”
“这段异构矩阵切分算子,是我带着三个人熬了两个礼拜才抠出来的,都已经把通信效率干到百分之九十八点一了,哪来的瑕疵?”
梁文锋也有些好奇地走过来,看着林念问道:“是啊小林同学,百分之九十八点一,差不多已经是PCIe接口的物理极限了,还能怎么改?”
林念指着屏幕,自信的说道:
“你们看这儿!”
“你们这机房里,是六千张纪元一代NPU,混搭了三千多张英伟达的二手旧显卡。”
“这位大哥在写第408行代码的时候,为了照顾那批二手显卡的显存延迟,用了一个固定步长的等待周期。”
“可是你们不知道,我们纪元一代NPU芯片的L1一级缓存里头,其实藏着一个当年没写进公开说明书里的硬件级微秒预取开关!”
“你们没打开这个隐藏开关,导致纪元的NPU每次把矩阵算完传给隔壁二手显卡的时候,寄存器都在那儿白白空转等待了零点八微秒!”
“就是这零点八微秒的空转,吃掉了你们最后百分之一的极限性能,还让芯片多费了不少电!”
林念这几句话一出口。
旁边的程序员老周,还有站在后头的梁文锋,两个人顿时目瞪口呆!
纪元一代NPU芯片里头,藏着一个没写进说明书的隐藏硬件开关?!
还有零点八微秒的寄存器空转?!
老周猛地转过头看向电脑屏幕上的波形图,把时间轴放大了一百倍仔细一瞧……