第三百六十章 钓鱼佬能不能赶上聚餐 (第2/3页)
汤圆的底座和那些数据拿到N卡集群上去跑，训练速度也不会更快。
这次他倒没想去找韩路一。
因为后训练是他的强项、他的领域，他不觉得韩路一会比他更懂。
更重要的是，韩路一临走前特意跟他说过，要对他放手。
那他就更得证明自己的价值了。
不就是训练速度遇上算法瓶颈吗？不就是还没有人做出更优化的训练算法吗？
难道我赵文渊就做不出来？
搞笑。
赵文渊让训练任务继续跑下一轮，自己在电脑上调出了上一轮的运行数据。
仔细看了一圈，他发现了第一个问题。
各个节点的运行效率并不一样。
Transformer架构的开创性贡献，是把以前只能串行的机器学习任务变成可以并行；于是机器学习也能像大数据处理一样，用大集群加快速度、提升效果。
基本原理很简单：把大任务切成小任务，派一个集群一起执行，执行完再合并。
问题是怎么分？
最理想的情况，是每个节点运算能力都一样，任务便分得一样大，每个节点负责的任务量也相同。
这样就不会有时间浪费。
可实际上很难做到平均分配。
因为后训练的任务类型不一样。
比如一个寝室决定聚餐，大家分头采买食材：有人去超市买菜，有人去海里钓鱼。买菜的人都回来了，鱼还没上钩。
这没办法，钓鱼是不可细分的最小任务。
现在通行的做法，是大家一起等这个钓鱼佬回来，再把阶段性结果写进硬盘，进行下一步。
问题是，该怎么把效率再往上提一提呢？
赵文渊托着下巴正想，门外忽然响起敲门声。
思路被打断，他缓了缓才开口。
“请进。”
章闻铎推
（本章未完，请点击下一页继续阅读）