泡泡中文

最新网址:www.xpaozw.com
字:大中小
关灯护眼
泡泡中文 > 重生1996:我教黄老板做显卡 > 第647章 不装了

第647章 不装了

林念心里暗笑:可不就是吃着图纸长大的嘛,那芯片还是我老爸当年画图的时候,我趴在旁边书桌上看着弄出来的呢!

这时候,旁边的梁文锋深吸了一口气,看向林念的眼神彻底变了。

如果说刚才在外面,他还只是觉得这小姑娘机灵、懂点硬件常识。

那这二十八行代码一出来,梁文锋心里头瞬间明镜似的,眼前这个十九岁的小姑娘,绝对是个在数学和底层计算机架构上百年一遇的顶级怪胎!

“小林同学,刚才是我眼拙了。”

梁文锋拉过旁边的一把转椅,直接在林念身边坐了下来,连称呼都变了,满脸兴奋地指着屏幕上的那段矩阵公式说道:

“你刚才在第14行用的那个矩阵降维折叠办法,思路太巧妙了!”

“我们之前在做大模型注意力机制计算的时候,也遇到了显存不够用、来回搬运数据太慢的问题。”

“如果顺着你刚才这个思路,把注意力机制里的键值缓存(KV Cache)也用低维度的潜在向量先压扁了存起来,等算的时候再还原,是不是就能省掉一大半的显存了?!”

林念一听梁文锋居然顺着她那二十八行小代码,一口就说出了她这两天正在琢磨的压缩显存思路,整个人直接从椅子上蹦了起来!

“对对对!!我这两天也在想这个办法!”

林念激动得一拍巴掌,连装实习生的事儿都彻底抛到九霄云外去了,抓起桌上的白板笔,转身就在机房旁边的移动白板上刷刷刷地画起了数学公式:

“梁文锋,你看!现在不管是硅谷的GPT,还是咱们国内的模型,最讨厌的就是那个稠密架构(Dense)!”

“每次算一句话,不管有用没用,非得把所有的参数全拉出来算一遍,就像让一万个壮汉去抬一根绣花针,太傻了!”

“我就在想,咱们能不能把一个大胖子模型,在数学上直接切成几百个、甚至上千个小块块,每个小块块只负责干一门手艺?”

梁文锋一听这话,两只眼睛瞬间亮了起来,一步跨到白板前,从林念手里接过另一支红笔,在她的图旁边飞快地画了一个分流开关:

“细粒度混合专家架构(MoE)!你的意思是不搞大锅饭了,搞精准派活儿!”

“在最前面加一个路由小开关,用户问数学题,就只叫醒懂数学的那两三个小块块起来干活;用户写古诗,就只叫醒懂语文的小块块,剩下的百分之九十五的参数全让它们在显存里躺着睡觉不耗电!”

“没错!就是让它们躺着睡觉!”

林念高兴得差点跳起来,指着梁文锋画的那个开关连连点头:

“可是如果切成这么碎的小块块,卡和卡之间通信又会堵车,这时候只要再套上你们刚才这套手写的底层汇编通信代码……”

“那就能把通信堵车的时间彻底抹平,算力消耗最少能砍掉八成以上!”梁文锋直接把林念后半句话给接了过来!

两人站在白板前面,你一笔,我一笔。

『加入书签,方便阅读』
热门推荐
重生2016:回溯三秒,我先赢生死计时:向天再借五百年让你卖药,没让你造保护伞公司!开局接手贫困县,我打造超级都市东线:最寒冷的冬天官场逆袭逃离地球之再世修仙天才起跑线华娱:从与中戏童校花分手开始逆都重生了也忘不了马尾辫的她啊
网站地图