Top
首页 > 正文

百度文心4.0训练史上最大参数模型,推理成本增加10倍

发布时间:2023-10-12 10:23        来源:赛迪网        作者:

近日,有媒体报道称,百度正加紧训练文心大模型4.0,这将是文心大模型3.5版本后又一个重磅版本。据报道,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。

据悉,即将推出的文心大模型4.0的参数量、训练数据量以及推理成本等都比3.5高出一个数量级。最近关于百度文心大模型4.0的消息一直不断,小道消息跟GPT-4发布前媒体的报道可以说只多不少。不管是发布时间、模型的参数量,还是成本,都被爆出不少猛料。

据爆料,文心大模型4.0的推理成本相比文心大模型3.5增加很多,有传闻是8-10倍,也有说法是至少翻了10倍。

早前,据华尔街日报爆料:微软用户量高达150万的AI编程工具GitHub Copilot,平均每个月在每个用户身上都要倒贴20美元,最高能达80美元。也就是说,微软自做出Copilot以来,光是一个月在它上面亏损就高达3000万美元,一年下来亏损直接过亿。同时,Copilot也不是免费的,会员每月还得交10美元“使用费”。

有大模型行业专家透露,大模型的推理成本跟三个因素相关:模型的网络结构和参数规模、推理部署方式、芯片和集群架构。

从已经爆出来的信息看,文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型,预计可能突破万亿级别。换句话说,文心4.0的神经网络结构将变得更复杂、参数规模更大,这必然带来更大的计算量,推理成本增加也就顺理成章。

推理部署一直是百度的强项,尤其是在自家框架飞桨的支持下,并行推理、量化推理和变长优化等等都是飞桨在大模型推理上很好用的工具。在模型参数量变大的情况下,不知道通过飞桨和文心的联合优化能不能找补回来一点。

最后就是芯片和集群了,使用什么样的芯片型号,用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例,据爆料,GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面,不知是否也遇到了挑战。

虽然大模型领域的“摩尔定律”(Scaling Laws)已经开始发挥作用,随着未来能源和计算成本快速下降,更强大的AI能力将会出现。

但现实是,随着大语言模型的不断升级迭代,参数量突破万亿、模型能力越来越强、用户使用量激增,推理成本都是大模型厂商需要持续优化的地方。

今年3月16日,百度官宣新一代大语言模型“文心一言”启动邀测,8月31日正式面向公众开放服务。如今,文心大模型即将再度升级发布4.0版,如此迅速的大模型升级速度,在国内尚属唯一。只不过,快速升级的背后,文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升,也正在成为大模型商业化过程中需要考虑的重点。

每日必读

专题访谈

合作站点