股票免息配资开户
正规炒股平台app 大模型预训练成本有多高?李开复:一次约三四百万美元
发布日期:2024-12-11 21:52    点击次数:122

正规炒股平台app 大模型预训练成本有多高?李开复:一次约三四百万美元

渤海股份11月14日涨停收盘,收盘价8.43元。该股于9点30分涨停,4次打开涨停,截止收盘封单资金为3847.53万元,占其流通市值1.37%。资金流向方面,当日主力资金净流入7930.13万元,占总成交额29.06%;游资资金净流出3715.51万元正规炒股平台app,占总成交额13.61%;散户资金净流出4214.62万元,占总成交额15.44%。

近期,国内大模型行业传出头部六家公司中有几家放弃预训练、转向推理端的消息。

10月16日,大模型创业公司零一万物创始人李开复表示,不会放弃预训练,但这是个技术活,需要懂芯片、推理、模型、算法。“如果一家公司能拥有这么多优秀的人才,能够跨领域合作,相信中国可以做出世界排名前十的预训练通用模型,但由于成本比较高,未来可能会有越来越少的大模型公司做预训练。”李开复称。

对于国内头部企业的现状,李开复表示,据其所知,目前国内头部六家大模型企业融资额度都是够的,一次预训练成本约三四百万美元,这个规模头部企业付得起。

LMSYS榜单测评结果

此次零一万物推出新旗舰大模型Yi-Lightning 闪电模型,在海外(全球性大模型评测榜单)盲测竞技场总榜上位列第六,仅次于OpenAI的GPT-4o、o1系列,Google的Gemini 1.5 pro系列,与马斯克xAI旗下Grok-2打平。

值得一提的是,此次盲测中,GPT推出的ChatGPT-4o-latest 最新版排名第一,Yi-Lightning超过了今年5月版的ChatGPT-4o-2024-05-13。这在李开复看来,说明了零一万物的预训练能力落后于OpenAI五个月的时间。此次预训练零一万物用了2000张GPU,训练了一个半月,花费了三百多万美元,但成本约为Grok的1%-2%。

李开复披露,Yi-Lightning旗舰模型性能提升基于AI Infra能力提升推理速度,同时采用 Mixture of Experts(MoE)混合专家模型架构。

MoE 模型由多个专家网络(Experts)构成,可以根据任务的难度动态选择激活哪些专家网络,平衡推理成本和模型性能。

此前李开复强调过不做亏钱的To B业务,但此次零一万物披露了包括To B服务在内的产品矩阵。对此,李开复在采访中解释称,如果继续沿袭AI1.0时代的系统集成型AI,即直接卖模型给客户,很难有利润。零一万物做的AI2.0数字人解决方案更专注用户痛点需求与盈利点,同时已跑通了AI伴侣、IP形象、办公会议等场景。其他To B业务首要任务也是寻找少数能够按使用情况收费的方法,而非通过项目定制,确定能得到比较高利润率的订单才会去做。

对于B端与C端的布局,李开复表示,一家大模型公司同时去做To B和To C很辛苦,需要多元化的管理方式,因为两个团队的基因不同,做事方法与衡量KPI也不同。To B领域,零一万物目前主要聚焦国内市场,如餐饮领域的数字人方案;To C领域主要布局海外,因为在国内To C产品的流量是一个很大的成本问题,在当下较为挑战的环境下需要谨慎判断。

李开复认为,OpenAI是一家很厉害的公司,已发布的OpenAI o1虽然隐藏了所有中间的思考状态,但o1将此前预训练中的Scaling 趋势扩展到推理,对行业形成认知改变,让行业认识到预训练之外,后训练SFT(Supervised Fine-Tun-ing,监督微调)与强化训练都非常重要,“相信很多中美公司都在向o1 方向狂奔。”李开复称。

举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作者

吕倩

相关阅读 李彦宏说大模型幻觉基本消除了,实测文心一言到底怎么样?

给AI文生图打几分?

0 24分钟前 阿里云再降价,大模型为何仍不着急“算账”?

对云厂商来说,行业仍处于AGI变革的早期,大模型的“降价潮”未有结束的迹象。

144 09-19 20:21 中信证券:OpenAI o1推理升级,关注强化学习新机遇

中信证券:OpenAI o1推理升级,关注强化学习新机遇

22 09-18 08:20 中信证券:建议关注推理测算力爆发带来高速光模块增量需求

中信证券:建议关注推理测算力爆发带来高速光模块增量需求

17 09-17 16:07 “讲卡伤感情,没卡没感情”,沈向洋外滩大会谈大模型:算力、算法、数据是关键

“真正做大模型的公司,如果你一万张卡都没有正规炒股平台app,你就根本不要讲自己是在干大模型的公司。”

119 09-05 19:21 一财最热 点击关闭