第二百二十二章 这个数据不太对 (第3/3页)
很快,刘亚光接起。
“老刘啊。”张弛说,“咱们GPU集群还有多少空余?给研究院那边再拨点。”
突然,他像想起什么,又压低声音:“对了,韩路一那边偷偷压一下。咱们两边一起开始训练的,别让他们跑到前边去。”
“好,我懂您的意思。”刘亚光也压低声音。
张弛还不放心,又问:“怎么压,你有想法吗?”
“您放心,我有数。”刘亚光说,“直接限速太明显。我让调度那边把他们的作业优先级调低,排在咱们自己的任务后面。他们的节点照常跑,但遇到资源争抢,咱们先走。”
“他们能发现吗?”
“大概率发现不了。负载均衡嘛,很正常。优先级这东西在咱们这边能看见,他们看不见。”刘亚光顿了顿,“另外,我可以安排一个例行巡检,时间段选在他们训练高峰期,临时把部分节点下线做维护。维护本来就是周期进行的——这是咱们的机房、咱们的硬件,按时维护是必须的。”
“行,按你说的来。”张弛没再多问,“后面没有新数据进来的话,这段时间注意点,别弄出什么动静。”
“明白,您放心吧。”
挂断电话,张弛又靠回老板椅。
一丝若有若无的微笑浮在脸上。
……
另一边,赵文渊急匆匆给韩路一打来电话。
“韩总,咱们被限速了。”赵文渊语气有点气急败坏,“这他妈鼎盛也太不地道了,偷了咱们数据不说,怎么还直接拔网线啊?”
“怎么限速了?”韩路一一边问,一边也登录上鼎盛云账户。
“训练吞吐量掉得太明显,但GPU一条报错都没有,我们自己的代码也查过,没问题。”赵文渊说,“然后我去看他们的维护通知,今天下午两点发的,说三点开始有节点下线检修,让我们注意。”
韩路一挑了挑眉:“提前一个小时通知?”
“对,维护窗口一般在半夜吧?哪有在白天干的?”赵文渊说,“这不是限速是什么?”
韩路一没说话。这时他已登入鼎盛云账号,目光落在屏幕上,视界启动。
扫了一圈,他没什么特别表情,直接点开在线工单系统,开了一个新的紧急工单。
他把优先级变更的时间戳、操作账户的归属部门、维护任务历史执行窗口对比,以及当日吞吐量下降曲线截图,一条一条列清楚,最后在问题描述里写道:“以上操作导致我司训练任务显著降速,与服务协议中的资源保障条款不符,请说明原因并恢复至正常优先级,否则我司将保留追究违约责任的权利。”
发送。
他放下手机,对赵文渊说:“先盯着,应该很快就好。”
电话那头安静了一会。赵文渊盯着训练监控曲线,吞吐量还是那么低,没动。他等了等,大概过了两分钟,忍不住又开口:“韩总,还没动静呢。”
……
鼎盛云运维中心,刘亚光正在处理别的事,工单消息弹了出来。
他扫了一眼,鼠标停住了。
又看了一遍。
他把工单从头到尾读完,后背有点发凉。
操作账户、时间戳、历史维护窗口对比……他们怎么查得这么详细?
他在椅子上坐了一会,没去请示张弛,直接打开后台,把源智的作业优先级改了回去,又把那个“例行维护”的节点重新上线。
这种事情,偷偷做没事,赌的是对面看不出来。
可要是被当面抓到了,那最好的方式就是立正挨打。
只不过干了这么多年,他还是头一次被抓到。
刘亚光在那条工单里回复:“经排查,系统调度参数出现异常,现已修复,感谢您的反馈。”
关上工单,他找到鼎盛研究院那边的账号,把原本分配的算力额度又提了一档。
只能这样了。
只能祈祷研究院那边跑快一点。
……
赵文渊看着屏幕上弹出来的工单回复。
“感谢您的反馈。”
又看了看吞吐量数据,已经回到正常水平。
他咽了口口水,低头看了看手机,和韩路一还在通话中。
“您——这就行了?”
“继续训练吧。”
韩路一挂断电话。