林念心里暗笑:可不就是吃着图纸长大的嘛,那芯片还是我老爸当年画图的时候,我趴在旁边书桌上看着弄出来的呢!
这时候,旁边的梁文锋深吸了一口气,看向林念的眼神彻底变了。
如果说刚才在外面,他还只是觉得这小姑娘机灵、懂点硬件常识。
那这二十八行代码一出来,梁文锋心里头瞬间明镜似的,眼前这个十九岁的小姑娘,绝对是个在数学和底层计算机架构上百年一遇的顶级怪胎!
“小林同学,刚才是我眼拙了。”
梁文锋拉过旁边的一把转椅,直接在林念身边坐了下来,连称呼都变了,满脸兴奋地指着屏幕上的那段矩阵公式说道:
“你刚才在第14行用的那个矩阵降维折叠办法,思路太巧妙了!”
“我们之前在做大模型注意力机制计算的时候,也遇到了显存不够用、来回搬运数据太慢的问题。”
“如果顺着你刚才这个思路,把注意力机制里的键值缓存(KV Cache)也用低维度的潜在向量先压扁了存起来,等算的时候再还原,是不是就能省掉一大半的显存了?!”
林念一听梁文锋居然顺着她那二十八行小代码,一口就说出了她这两天正在琢磨的压缩显存思路,整个人直接从椅子上蹦了起来!
“对对对!!我这两天也在想这个办法!”
林念激动得一拍巴掌,连装实习生的事儿都彻底抛到九霄云外去了,抓起桌上的白板笔,转身就在机房旁边的移动白板上刷刷刷地画起了数学公式:
“梁文锋,你看!现在不管是硅谷的GPT,还是咱们国内的模型,最讨厌的就是那个稠密架构(Dense)!”
“每次算一句话,不管有用没用,非得把所有的参数全拉出来算一遍,就像让一万个壮汉去抬一根绣花针,太傻了!”
“我就在想,咱们能不能把一个大胖子模型,在数学上直接切成几百个、甚至上千个小块块,每个小块块只负责干一门手艺?”
梁文锋一听这话,两只眼睛瞬间亮了起来,一步跨到白板前,从林念手里接过另一支红笔,在她的图旁边飞快地画了一个分流开关:
“细粒度混合专家架构(MoE)!你的意思是不搞大锅饭了,搞精准派活儿!”
“在最前面加一个路由小开关,用户问数学题,就只叫醒懂数学的那两三个小块块起来干活;用户写古诗,就只叫醒懂语文的小块块,剩下的百分之九十五的参数全让它们在显存里躺着睡觉不耗电!”
“没错!就是让它们躺着睡觉!”
林念高兴得差点跳起来,指着梁文锋画的那个开关连连点头:
“可是如果切成这么碎的小块块,卡和卡之间通信又会堵车,这时候只要再套上你们刚才这套手写的底层汇编通信代码……”
“那就能把通信堵车的时间彻底抹平,算力消耗最少能砍掉八成以上!”梁文锋直接把林念后半句话给接了过来!
两人站在白板前面,你一笔,我一笔。