第四百一十五章 API开放 (第3/3页)
但韩路一完全没跟潜在的大企业客户打招呼,也没宣传,直接把API放给公众——大家一起抢额度,先到先得。
现在离API发布才过去两个小时,网上舆论热度刚起来,新开放的API调用量已从每秒一千多涨到每秒两万。
“老江,我们留给API的算力,能支持的最大QPS是多少?”韩路一问道。
自从江松然和姜亦心都当上副总裁,韩路一就决定用老江和小姜称呼两人,免得叫Jiang总时弄混,直接叫名字又显得生疏。
江松然起身汇报:“韩总,各位,昨天压力测试时最高能到六万QPS;超过这个数就会产生等待,还会引发流量分配、上下文丢失的问题。所以我们现在的策略是在达到限度前直接限流,避免过大的流量把正在运行的任务冲垮。”
最高六万,刚开放两个小时就到两万了。
这个数据让在座众人喜忧参半。
苏念念看着数据,忽然想到什么,问道:“我记得第一次做上线计划时,最高并发是四万多?什么时候提到六万了?我们又有新算力了?”
江松然看了韩路一一眼,答道:“苏总,显卡资源还是那些。不过前几天韩总提了个新的优化方向,我们带团队试过,能把并发量提高三分之一左右。这个优化刚上线,昨天压测已经看到效果,只是还没来得及跟大家同步。”
众人都松了口气。
提升三分之一之后还这么紧张,若仍是四万多的状态,岂不是开放当天就要限流?
韩路一想了想,说道:“现在是开放第一波,肯定有不少人抱着试用心态在用,第一波过后不一定会持续使用。而且这个时候,我猜大部分人还没把汤圆API接入产品,流量还不太稳定。老江,你带队继续监控,尽量保证前几天不出现限流;御风和汤圆Chat的调用模式已经比较固定,可以把那边集群用不到的算力暂时调拨到API这边做冗余。”
江松然领命,点了点头。
韩路一又看向监控面板。
即使提前做了准备,硬件资源也就这些;这波流量冲过来时究竟能不能扛住,真不好说。
韩路一又问:“现在使用的用户里,选择共享数据的大概有多少?”
这个数据监控面板是苏念念做的。她操作了一下,把面板投上屏。
“占到80%多。”苏念念答道。
这就是个人开发者和企业用户的区别。
企业用户没得选:里面有用户数据,按法律法规也不能共享。
个人开发者可不关注这些。
汤圆1.0可是现在全球排名第一的模型,本来价格就不算贵,共享数据又直接半价,谁还管隐私不隐私,买来猛用就是了。
反正大家明知道这些数据会共享;真有隐私或商业机密,自己注意别往里放就好。
不过,很多人可能不知道:即使公司承诺不拿用户数据训练模型,也会对用户发言抽检,主要是看有没有不安全、不合规的内容。所以,把痔疮照片传给AI聊天助手问病情这件事,未必每个人都知道自己暴露了什么风险。
韩路一想了想,尴尬的地方就在这儿——价格定低了。
按经济学基础理论,价格不由成本和利润空间决定,而由需求决定。
价格便宜也不全是好处。
以现在这个定价,大家不管什么用途都想拿来用一下;于是,那些消费者愿意支付更高价格来满足的需求,和一般需求混在一起,被埋掉了。那些不想排队、不想被限流的用户,愿意花更多钱保证自己的需求,却没有付钱的机会。
这个价格是韩路一和苏念念商量后定的,本来打算作为永久定价;但由于韩路一有半价策略,苏念念提出前三天算折扣价。
这样也给后续涨价留出了空间。
用户们,不是我们涨价啊,只是折扣到期了。
江松然把投屏切回流量监控。就在开会的这一小会儿,QPS已从两万再次涨到两万一。
第一天的流量高峰还没到,最后究竟会用掉多少算力,大家心里都没底。
这时,韩路一的手机亮了。
这个手机号知道的人不多。韩路一看了看来电显示,是郑晓波。
他向众人示意,走出会议室,接起电话。
同时在心中暗想:
鼎盛啊——
汤圆API刚发布,郑晓波这个时候打电话,是想干什么?