第一百九十九章 五百卡？起步 (第3/3页)
相当于采购的钱全花在硬件上。”
话说完，江松然心里也打鼓。他明确表示这是自己提前调查过的厂家，韩路一会不会怀疑他吃回扣？
他默默想了一句：他以国士待我，我当以国士报之。
韩路一面上不动声色，只是眼睛发亮。他没怎么犹豫，直接说：“江博士，你费心了。确实很适合源智现在的需求。这样，你不方便出差，一会儿我让助理过来找你。你和他交代清楚，让他跑一趟鹏城。”
江松然心里松了一口气。不让他经手，他挺庆幸，至少可以避嫌。
正事聊完，韩路一最后又说了一句：“你既然说有信心，我很期待咱们把自己的集群搭起来的那天。”
实际上，江松然说得还保守了——他不只是有信心。这事他做过一遍，再做一遍当然十拿九稳。何况现在见识过源智科技的技术潜力，他觉得不止五百卡、千卡集群，就算万卡也不是不能尝试。
要知道，想把显卡集群做大，技术难度是指数级上升的。真正的挑战来自使用过程中集群各节点之间的通信。要完成大模型训练，就得让各节点数据完全同步。假设只有十个人，互相交流一个信息不算太难；可扩大到一百人、一千人，每个人都在做自己的事，即使是简单信息同步也很难做到。
而且，万卡集群比起千卡集群，运算速度并不能提升十倍。受通信带宽限制，能达到七八倍就不错了。
成本极高，收益不大。既然这样，为什么还要做万卡集群？直接做很多小集群不行吗？
因为万卡集群能做到千卡集群做不到的事：训练超大模型。基于现在的大模型理论，模型越大、参数越多，能力就越强。可要把那么多信息训练进一个模型，就需要能同时容纳所有原始信息的内存；只有万卡规模的集群，才有可能训练出这样的超大模型。
可以说，万卡集群才是英伟达体系王冠上的明珠。而现在，江松然已经有野心，要在源智科技用国产显卡挑战万卡集群。
当然，AI 训练用显卡的成本，即便国产低很多，单卡也在十万元人民币以上。要做万卡集群，单显卡成本就要十亿；更别说这个级别的集群，配套机房、电力、冷却、存储等成本加起来约为显卡本身的一倍，总投入要在二十亿以上。
但这些事江松然都不担心。那不是 CEO 该担心的问题吗？他相信到时候韩路一会解决。
这些念头在江松然脑子里转了一圈，他什么都没说出口。只是那颗因家中变故而沉寂的心，突然又火热起来了。