第二百一十七章 说说吧,什么进度? (第3/3页)
在看,没有必要,可以直接上退火数据。”
韩路一看着曲线,没有立刻说话。
赵文渊继续说:“退火结束后,我们可以先做一轮基础能力评测,代码、数学、中文理解、长上下文,还有通用知识,都跑一遍。只要底座能力过线,就可以进入后训练,到时候标注数据才开始发力。”
“不要只看公开榜单。”韩路一说,“评测集要分开两层:一层是对外可比较的基础能力,另一层是我们自己的产品前置任务。”
他说着把身子往前倾了倾:“和一般的研究机构不一样,我们做汤圆不是为了发论文。御风、开物,我们已经有了真实的应用场景,这是我们的优势。一定要确保汤圆有这方面的潜力。”
赵文渊一愣。确实,他没考虑到和产品结合的这个方面。
他以前在研究院的时候,做研究就是做研究,不用考虑和产品结合的能力,觉得基础能力到位了,自然能找到用途。
就像先造锤子,再找钉子。
可源智现在的情况不一样。源码科技这边两个应用层产品都已经打开市场,汤圆做出来,根本不用考虑哪些场景可以用到。
场景,御风和开物都给准备好了。
赵文渊点了点头,在手机上快速记了条备忘录,说道:“好的,韩总,我一开工就安排团队做咱们自己的测评集。”
安排完工作,韩路一在心里默默算了算时间:五天退火,那就是二月十五日。
比训练开始时预计的二月二十号提前了几天。
这样也为Kaiwu海外版后台的迁移又争取出几天时间。
江松然那边也要抓紧了。能不能用国产卡集群跑通训练,也是这个计划的重要一环。
预训练结束之后,再花二十天做后训练的微调和对齐。算一算,三月初就可以把完全从头开始训练的汤圆做出来了。
这和之前用7B开源底座加上八千条标注喂出来的汤圆v0.1可不一样。
到那时,用视界级数据清洗标准加视界级标注数据训练出来的大模型,将第一次面世。
被全套金手指资源加持的汤圆,成绩会怎么样?他无比期待。
想到这儿,韩路一打开视界看了一眼右下角的经验进度。
百分之五十。
一半了啊。
韩路一这么想着,拿起桌上的拿铁喝了一口。
……
与此同时,在海城的另一端,张弛也刚刚在虹桥落地。
他没回家,让司机直接送他去鼎盛大厦。
到了鼎盛大厦,秘书已经在楼下等他。
他把手里的包交到秘书手上,一边往电梯走一边问:“人都到了吗?”
“刘总监和王总监都在会议室等您。”秘书紧跟在后面,快速回答。
出了电梯,张弛直奔会议室。
门一打开,刘勃和王浩都站着。看见张弛进来,两人一起往前一步,赶紧问好。
张弛看着两人紧张的样子,直接在他们对面拉了张椅子坐下,然后摆了摆手,开口:“哎,站着干嘛?坐下说。”
于是两人都赶紧拉开椅子坐下。
等两人坐定,张弛开口问道:
“说说吧,什么进度?”