浪潮信息董事长彭震：加速智算系统创新解决大模型算力难题

发布时间：2023-12-11 22:54:14 来源：瞠目结舌网 作者：休闲

在生成式人工智能蓬勃发展的浪潮背后，算力尤其是信息新解AI算力已经成为驱动大模型进化的核心引擎。计算力就是董事生产力，智算力就是长彭创新力，已经成为产业共识。震加“大模型时代的速智算系算力算力供给，与云计算时代的统创算力供给，存在很大的模型差异性。”浪潮信息董事长彭震说。难题

彭震认为，浪潮目前大模型研发已经进入万卡时代，信息新解从事大模型研发的董事公司和团队，普遍面临“买不起、长彭建不了、震加算不好”的速智算系算力困局。为解决这一困局，需要以算力基建化改善算力供给，促进算力普惠，以算力工程化指导完善算力系统最佳实践，提升算力效率。

大模型，特别是千亿参数级别对海量算力资源的消耗，往往需要少则几亿，多则数十亿的IT基础设施投资，急剧抬高了技术和资金准入门槛。彭震表示，为解决这一困境，应大力发展普适普惠的智算中心，通过算力基建化使得智算力成为城市的公共基础资源，供用户按需使用，发挥公共基础设施的普惠价值。用户可以选择自建算力集群，或者是采用智算中心提供的算力服务来完成大模型的开发。

通过大力发展智算中心新基建，中国和美国大模型产业的发展已经呈现出完全不同的发展路径。在美国，算力的私有化决定了大模型产业技术只能掌握在少数企业手中，而中国大力推动的算力供给基建化，为大模型创新发展提供了一片沃土，将使得整个产业呈现“百模争秀”的全新格局。

“即使解决了算力供应的问题，通用大模型开发仍然是一项极其复杂的系统工程，如同F1赛车的调校一样。F1赛车的性能非常高，但如何调校好这部赛车，对整个车队的能力要求是非常高的。”彭震说。

大模型训练需要依靠规模庞大的AI算力系统，在较长时间内完成海量的计算任务，化解大模型“建不了”难题，根源在于提升算力效率。算力效率越高，大模型的训练耗时越少，就能赢得更多时间窗口，也能降低成本。目前，大模型的训练集群效率普遍较低，像GPT3的集群训练效率只有23%，相当于有超过四分之三的算力资源被浪费了。

彭震表示，大模型不应是简单粗暴的“暴力计算”，算力系统构建也不是算力的简单堆积，而是一项复杂的系统工程，需要从多个方面进行系统化的设计架构。

一是要解决如何实现算力的高效率，它涉及系统的底层驱动、系统层优化，与大模型相适配的优化；

二是要解决算力系统如何保持线性可扩展，在单机上获得较高算力效率之后，还需要能让几百个服务器节点、几千块卡的大规模集群环境的算力系统运行效率，保持相对线性的性能扩展比;

三是算力系统长效稳定训练问题，大模型的训练周期长达数周甚至数月，普遍存在硬件故障导致训练中断、梯度爆炸等小规模训练不会遇到的问题，工程实践方面的缺乏导致企业难以在模型质量上实现快速提升。

彭震介绍，系统建成后，大模型在训练过程中，由于开发链条冗长，还面临“算不好”的挑战。大模型训练不仅依赖高质量数据，同时也要解决算法收敛、断点续训、参数优化、模型微调等问题，数据质量、代码调优、执行效率等关乎训练质量的因素至关重要。这些问题解决不好，很难产生一个可商用的、高质量的大模型产品。

彭震认为，解决“算不好”难题，根本上要保障大模型训练的长时、高效、稳定训练的问题。例如大模型训练过程的失效故障，大模型训练会因此中断，不得不从最新的检查点重新载入以继续训练，这个问题在当前是不可避免的。提高算力系统的可持续性，不仅需要更多机制上的设计，更依赖于大量自动化、智能化的模型工具支撑。例如智算软件栈OGAI，提供完善的工程化、自动化工具软件堆栈，帮助更多企业顺利跨越大模型研发应用门槛，充分释放大模型创新生产力。

只有依赖不断的创新，通过政策驱动、应用导向、产业构建等多重手段相结合，不断夯实大模型基础能力和原始创新能力，才能切实有效的解决好大模型算力“买不起、建不了、算不好”的难题。

（文章来源：中国经济网）

相关文章