第一百四十二章 唯一的解释 (第3/3页)
想这事。”
程远瞟了他一眼，心说：技术人的邀功，还是直白了点儿哈。
刘大海接着说：“我自己想了几个方向。我觉得他们没跳出Transformer的架构，而且拿出来的还是个小模型。现阶段，模型性能要有这么大提升，要么靠大参数，要么靠质量特别高的数据，没有第三条路。”
“大参数可以最先排除：他们来要的就是算力，这方面肯定不占优势。”
“意图理解这条赛道，OpenAI的GPT是公认的天花板，也就78分出头。他们拿一个开源的7B架构，参数量只有人家的零头，跑出85.2。郑总，这么跟您说吧，这就好比我们县城中学的一个学生，高考分数比全省状元还高三十分。”
刘大海边说边留意郑晓波的表情。
技术人给领导汇报，既怕技术细节说多了领导听不懂，又怕说少了、说简略了领导不满意，只能小心翼翼，随时调整。
“我能想到的唯一解释是：这个县城学生用的根本不是普通课本，而是一份全世界别的学生都没有的黄金复习资料。”
程远插了一句。
他没听懂，这倒没关系；他主要怕郑总也没听懂，而这种问题不能等郑总来问。
“刘博士，不好意思，你这个比喻指的是什么？”
“是标注数据。”刘大海也意识到说上头了，赶紧收回来，“郑总您应该了解，我就简单说说。”
“咱们做模型训练，主要分几个阶段：先是预训练，这个阶段就是堆语料，恨不得把互联网上的东西全给它整进去。”
“第二步是监督微调。第一步训出来的模型好坏不分，微调相当于给它看作文范文，教它分明白啥是好赖话儿。”
“再往后还有对齐阶段，这个先不聊了。”
说到这儿，刘大海叹了口气，继续道：“郑总，咱们做乾元的时候，占了数据量特别大的便宜，效果才好。现在做通用模型，大家用的语料差不多，互联网就那么多东西，你抓我也抓。真想拉开差距，还得看后训练阶段。”
“所以我说，那个……对方效果能做到这么好，一定有好的标注数据。”
刘大海把韩路一的名字忘了，公司名也忘了，只好中途改口。
不行，回去得查查这个公司，还有那个叫赵文渊的技术负责人，看看他的论文。
能训练出这种水平的模型，不可能在学术界默默无闻。
一直沉默听着的郑晓波突然开口：“Scale AI。”