浪潮信息:公司源1.0大模型结构与GPT-3类似,参数量增加40%

2月14日,服务器厂商浪潮信息(000977)在深交所互动平台上回复投资者问题时表示,公司在AIGC(人工智能生成内容)赛道已从底层计算能力、中间层大模型算法能力和上层行业应用方面进行布局和待续研发投入,未来将会持续发布AIGC的支撑产品。
浪潮信息还介绍,公司2021年发布的源1.0大模型是面向中文的超大规模预训练自然语言模型,模型结构与GPT-3类似,与GPT-3相比参数量增加40%,训练数据集提升10倍,达到了2457亿参数,训练使用了5TB的高质量中文数据。

GPT-3是美国OpenAI研发的聊天机器人程序ChatGPT目前采用的模型结构。华安证券报告称,GPT3模型就需要上千片A100芯片超一个月的训练时间,其中包括1750亿个参数、45TB数据量。