第一百九十八章 期待与你的合作 (第2/3页)
就没必要追求N卡80%的效率，反正也用不满；优先把必要的算子做完、跑通。我刚看了一下，除了十个已经标绿的，还有二十三个过了60%的线。”
说到这儿，江松然低头看了眼屏幕，自己纠正：“二十四个，加起来三十四个。”
他坐回椅子，往屏幕前挪了挪，开始在表格里圈算子。
“反向、优化器更新、梯度同步这几类先往后排：三月初的推理用不到，等四月调训练时再回来做。”
赵文渊点头。这几类在表里占了不少，确实都是训练才用得到，先放一放完全合理。
“再看推理路径。”江松然把光标移到表格前半段，“矩阵乘、LayerNorm、softmax、激活这几类已经标绿。注意力相关的算子在哪？”
赵文渊往下翻了翻，指着一项：“标准Attention，61%。Flash-Attention那一版还没排上。”
“Flash不用，先用标准的，能跑就行。”江松然问，“KV-cache的读写呢？”
“这里，64%。”
“够了。”江松然往后靠了靠，“再加一个采样、一个RMSNorm。这两个简单，融不融合都行，先有了再说。我数一下啊。”
他在表里点了点，停在最后：“差两个。”
赵文渊愣了一下。
他原本打算把所有算子都做到80%，卡住的地方直接呼叫随身老爷爷韩路一；按现在的速度，可能要做到二月底，到时候再做端到端。
可现在被江松然这么一拆——
只差两个了。
“你这……”赵文渊一时不知怎么接话，“这两个我让组里今天就开。”
“不急。”江松然摆摆手，“先用现成脚手架把已经达标的三十四个串起来，跑一遍空载，把链路打通；这两个等做好再补进去。到时候哪儿不对，一目了然。”
赵文渊点头，起身去喊人。
一边走，他一边又有点懊恼：今天又装逼失败了。
——这是哪儿来的神仙啊。
赵文渊把组员都叫过来交代任务：今天就开始搭脚手架，用最小模型拉一条链路，在8卡环境下跑一圈。
周围工程师都是一愣：“今天？”
江松然在旁边补了一句：“跑的时候把Profiler打开。不要只看最后成败；每一步的耗时、等待时间、内存拷贝、通信比例，这些数据都有价值。”
众人还不认识江松然，都看向赵文渊。赵文渊点头，大家才散开。
赵文渊转身对江松然说：“江博士，谢谢你。这个点我确实没想到，还好你现在指出来了。”
江松然脸上毫无骄色：“这不是你的问题，是咱们推进得太快了。”
赵文渊不解：“太快了？”
江松然问：“你知道我们当年做TPU时，花了多久才意识到这个问题吗？”
赵文渊递话：“多久？”
“三年。”江松然说，“你们现在才做多久？最多半年吧？”
赵文渊已经没兴趣纠正这个了——这点小逼不装也罢。
江松然接着说：“正常来说，一个团队还卡在第一个SDPA的时候，不需要想这么远。咱们现在的问题是：已经把最难启动的部分打穿了，所以系统性问题提前暴露了——”
“这是好事。”
说完，江松然又打开赵文渊电脑上那几个效率已超过80%的算子文件夹：“这些实现是你把关的吧？这得对底层有很深的理解才做得出来。不管有没有智能体这种工具，这份理解都做不了假。”
江松然比赵文渊年长几岁，也管过几十号人。他说这番话，是怕刚才的举动在下属面前伤了赵文渊的权威，想鼓励他一下，修补关系，防患于未然——毕竟两人将来大概率要共事很久。
没想到赵文渊听完，脸上又露出那种不自在的神色。纠结片刻，他才开口：“其实，这些不是我写的。”
江松然好奇：“那是谁写的？”
“是韩总写的。”赵文渊说着，看了眼电梯方向。最近韩路一上班后都会直接来十三楼报到；今天听说京城有人过来——国网投资的尽职调查团队，黄宇带队，需要韩路一去对接，所以到现在还没来。
“韩总？”江松然今天已经惊讶太多次，这会儿都有点惊讶不出来了，“哪些是他写的？”
（本章未完，请点击下一页继续阅读）