英伟达:CPU已落伍,用GPU训练大语言模型成本可降低96%
IT之家 5 月 29 日消息,根据英伟达在 2023 年台北电脑展会上的演讲,该公司宣称其 GPU 可以大幅降低训练大型语言模型(LLM)的成本和耗能。

英伟达首席执行官黄仁勋在演讲中,向 CPU 行业发起了挑战,他认为生成式人工智能和加速计算是未来计算的方向。他宣布传统的摩尔定律已经过时,未来的性能提升将主要来自生成式人工智能和基于加速计算的方法。
英伟达在展会上展示了一份 LLM 的总体拥有成本(Total Cost of Ownership,TCO)分析:首先,他们计算了训练一个 LLM 所需的 960 个 CPU 组成的服务器集群的完整成本(包括网络、机箱、互连等所有设备),发现这需要花费约 1000 万美元(IT之家备注:当前约 7070 万元人民币),并消耗 11 千兆瓦时的电力。


