大模型技术正在引领新一轮的人工智能浪潮，人工智能基础设施(AI Infra)作为此轮变革的重要基石，已成为技术和产业发展的关键战略要素。中国人工智能产业发展联盟AI Infra工作组（以下简称“工作组”）围绕AI软硬件基础设施领域，开展了多项标准研究和产业生态工作。2024年，工作组将聚焦大模型基础设施领域，体系化开展技术研究。

软件设施方面，为推动提升AI开发落地全流程的功能、性能、稳定性，工作组面向通用软件平台、细分技术平台、应用软件平台立项了1项国际标准，发布了1项行业标准、6项团体标准。

硬件设施方面，为构建稳定、高效、易用的AI底层硬件支撑，工作组面向AI算力、一体机、芯片领域，发布了1项团体标准和《运营商AI先进存力白皮书》。

2023年中国信通院在AIIA发起成立了AI Infra 工作组，截止1月底已经吸纳工作组成员110家。为探索大模型时代下AI基础设施的最佳建设思路和实践路径，工作组组织召开“AI Infra大模型主题沙龙”、“AI算力发展分论坛”等多次会议，聚集百余位企业专家进行了深入研讨。

未来，工作组将针对大模型基础设施大而不强，综合性能低，软件工具链不完备等问题，推动产业进一步提升人工智能基础设施的综合能力，帮助产业界构建标杆，促进甲方提升基础设施水平。

工作组已经形成了高质量的大模型Infra标准体系，涵盖硬件设施层、软件设施层、边缘设施层，节后我们将陆续启动以下几方面工作：

第一，硬件设施方向，聚焦训练环节大规模算力，高带宽网络，高性能存储等需求，解决异构算力构建和调度，高速无损网络传输，稳定可靠存储等问题；聚焦推理环节低时延，高准确等需求，解决多系统间的耦合、外挂知识库的连接等问题。

第二，软件平台方向，聚焦训练稳定性、易用性等问题，更好衔接底层算力与上层应用，实现高效、低成本、低门槛的模型训练；聚焦推理环节易用性、自动化、低成本、高实时等需求，解决模型量化高效性、分布式推理稳定性、资源调度自动化、推理任务易用性、服务交互完备性等问题。

第三，边缘AI设施方向，聚焦边缘端设备形态丰富导致算力算法适配性差、云边协同训练复杂等问题，工作组将面向边缘AI场景下硬件设备、软件平台能力及云边协同技术等方向，形成边缘AI硬件、边缘AI软件及边缘AI技术相关的系列标准。

工作组计划围绕AI算力、AI平台、边缘AI领域，开展系列技术论坛、主题沙龙和案例征集活动，促进供需对接和应用落地。欢迎各界积极参与，共同促进大模型基础设施领域高质量发展。