第一百九十九章 五百卡?起步 (第2/3页)
江松然说,“基于标注数据的后训练,勉强也能做。但要做预训练,远远不够。”
TFLOPS(TeraFLOPS,Trillion Floating-point Operations Per Second)是衡量计算机算力的单位,中文是“每秒一万亿次浮点运算”。GPU 的强项就是浮点数学运算;若把每块 GPU 比作一辆跑车,TFLOPS 就是仪表盘上的最高时速。
用 N 卡体系举例:游戏玩家的梦中情卡 RTX 5090 在 AI 实际使用精度下大概能做到 200 TFLOPS;专业用于 AI 训练的英伟达 B200,单卡能达到 2250 TFLOPS 的恐怖算力。
韩路一点头,这和他设想的没有出入。
“而且,韩总,我不知道咱们团队里有没有人有过显卡集群管理的实操经验。但非 CUDA 生态显卡集群的管理难度,和 CUDA 生态完全不一样。五百张国产卡,全国能把训练栈跑通的不超过三家。”
说完,江松然露出些许骄傲:“有我在,我有信心让源智科技成为其中一家。”
韩路一倒不怀疑——他招江松然进来,就是要他干这个。他接着问:“那从哪家采购最好,你有什么建议?”
江松然微微沉吟,没有马上回答。
这个问题其实有点敏感。他当过管理者,当然知道对任何公司来说,采购都是敏感话题;何况 AI 用显卡单卡价格都在十万以上,五百张就是五千万的采购,金额不小。
为求安全,他最好推荐一家国产头部大厂。大厂内控严厉,给他回扣的风险小,韩路一更不会怀疑他。
可做过调查后,江松然确实发现了一个更好的选择;只是说出来,未必对他本人是好事。
他没犹豫太久,还是咬了咬牙,说出更冒险的版本:“有一家,叫硅明半导体(Sili-Lumin),总部在鹏城,也是创业公司。去年刚开始量产第一款产品,叫 L100,算力 600 TFLOPS,片间互联带宽 600 GB/s,对标英伟达 H100。硬件料很足,还有一个对我们来说算优点的缺点——他们的软件做得很差,完全没有训练落地配套,买家全在做推理。”
“所以硅明对咱们格外合适。五千多万的单子,对他们来说是救命稻草;他们销路不好,有现货。”江松然把思考都说了出来,“再加上软件弱、硬件强,按硬件单价算,性价比特别高。我们根本不用他们的配套软件,
(本章未完,请点击下一页继续阅读)