近日,开发出ChatGPT的公司OpenAI,正式宣布开放ChatGPT的API(应用编程接口),这意味着第三方的开发者,也能将ChatGPT集成到他们的应用程序里去。
实际上, ChatGPT是微调后的GPT-3.5系列模型,有着多达1750亿个模型参数。机构人士分析指出,AI大模型训练运算量增长速度远超硬件算力提升速度。其训练过程中面临的算力墙、内存墙、调优墙、部署墙等系列挑战也日渐凸显。
曙光作为核心信息基础设施领军企业,响应AI时代新需求,推出5A级智算中心,解决大模型训练瓶颈。通过底层分布式异构计算体系提供涵盖全精度的强劲多样算力供给;依托开放集成的基础架构极大程度调动算力、算法、数据要素协同性,并基于上层计算服务的智能调度最大化灵活释放融合算力。在保障AI大模型算力需求的前提下,也大幅提升算力资源的利用率及训练效率。
在5A级智算中心的助力下,“悟道2.0”大模型的通用性、泛化性、可解释性和运行效率等持续提升,转向“实用化”阶段。其中,GLM 通用语言模型、GLM-130B 稠密双向千亿中英模型等产业级模型的训练与调优都取得了突破性进展,并通过反馈算法与执行成效,让“悟道2.0”能力持续强化。
突破AI模型训练瓶颈,加速大小模型协同进化,只是5A级智算中心持续破解AI领域难题的成果之一。在AI+Science及AI+Industry领域,药物研发、气象预测、材料解析等课题及应用也均在其融合算力、开放架构的特质支撑下,实现不同程度低成本高效率的范式创新。