随着大模型的发展和快速落地,企业算力需求高速增长,传统模式无法满足大模型场景下的AI基础设施需求,GenAI落地亟须新范式。
异构算力运营
对不同类型、不同厂家的异构算力设备进行统一管理和调度,提供服务化算力和模型能力,帮助企业打破设备孤岛,助力AI业务创新和智能化转型。大模型训练和推理
通过分布式并行框架和软硬结合调度,加速模型训练和推理;通过在离线混部和Serverless GPU,降低算力成本。
该系统主要面向 AI 训练与推理场景,提供异构 GPU 资源的统一纳管、智能调度、运行优化及运营管理能力,帮助企业实现跨地域、多云、多架构算力资源的统一管理与高效利用,提升 AI 业务运行效率并降低整体算力运营成本。
-
集成层
提供 SDK/API、CLI、IDE 插件、MCP/Skills 以及统一管理控制台等能力,对外输出标准化接口和工具,方便开发者、平台及第三方系统快速接入,实现 AI 能力的统一调用与管理。
-
运行效率优化层
聚焦 AI 训练与推理过程中的性能提升,通过镜像预热、模型冷启动优化、推理加速、数据访问加速、性能评测以及全链路观测等能力,提高资源利用率、降低任务时延,并增强系统稳定性与故障自愈能力。
-
算力管理调度层
负责异构设备接入、资源统一纳管、多云资源编排、跨域调度、在线离线混部以及智能调度策略管理,实现多类型算力资源的统一调度、弹性伸缩和负载均衡,提升整体算力利用效率。
-
系统软件层
提供基础运行环境,包括操作系统、虚拟化运行时、容器引擎、设备抽象、Serverless 框架以及多云适配与编排等能力,对底层硬件进行统一封装,为上层调度与应用运行提供标准化支撑。
-
运维与运营体系
贯穿平台整体运行过程,提供资源计量计费、Token 计费、成本优化、效能分析、瓶颈定位及算电协同等能力,帮助企业实现算力资源的精细化运营、成本治理和稳定运行。
-
异构适配
算力加速平台异构适配覆盖接入层、云管层和应用层,管理公司内部800+异构加速卡,深度测试每一家国产卡的性能。
-
深度调度优化
基于Kubernetes搭建智能资源管理和AI作业调度能力,支持资源池化、多种优化调度策略(集中、分散、Gang调度)、拓扑感知调度、资源预留、重调度和基于优先级的任务抢占,降低资源碎片化问题,显著提高了资源分配效率和系统稳定性。
-
全链路可观测
构建端到端监控与诊断体系,通过直观的拓扑视图,识别性能瓶颈和故障,保障性能发挥和服务SLA。
-
自建算力池,适配多类国产加速卡
自建近千张加速卡资源池,覆盖 7 类主流异构算力(含 6 种国产加速卡),具备完善的国产芯片软硬件生态适配能力,满足信创环境下的合规与自主可控要求。
-
多 AI 平台接入,统一管控算力资源
支持阿里、华为等主流AI平台统一接入,可在算力卡、容器底座层实现跨平台资源标准化管理,向上提供统一接口,帮助客户屏蔽底层差异,实现资源灵活调度与无缝扩容。
-
拓扑智能调度,提效降低使用门槛
支持算力拓扑自动发现与拓扑感知调度,能够根据硬件连接关系与通信特性智能分配任务,提升分布式训练与推理效率,同时降低用户使用复杂算力资源的操作门槛。
-
全链路一站式 AI 开发运维平台
面向 AI 应用开发全流程(数据处理、模型训练、推理部署与运维),提供统一框架、端到端一站式平台能力,降低开发及运维门槛。












