亚洲最大的几家云服务商正采取哪些措施来满足日益增长的AI推理需求？Omdia的最新研究深入分析了AI推理运营所面临的不断演变的挑战，吞吐量、延迟与支持多样化AI模型之间的关键权衡，以及可能的解决方案。该报告详细涵盖了华为、百度、阿里巴巴、字节跳动、腾讯、NAVER和SK Telecom Enterprise等公司，考察了这些公司所提供的GPU、AI加速器和经过AI优化的CPU及其定价、英伟达（NVIDIA） GPU的库存、AI服务组合，以及自有AI模型和定制芯片项目的现状。

尽管在2024年至2025年初美国实施出口管制前，中国企业大量囤积了英伟达 H800和H20 GPU，但在国内云服务中却难以见到这些高性能芯片的身影，这表明它们主要被用于顶级云服务商自身的模型开发项目。同样，采用中国本土AI芯片项目的方案也相对较少，例外情况包括百度的本地云产品和华为云的部分服务，但这类应用仍十分有限。中国顶级云服务商在采用“预填充与生成分离”等最佳实践方面已相当成熟，且在基础AI领域发表了具有开创性的研究成果；然而，除少数显著案例外，这些研究论文中常提到训练过程使用的是西方的GPU。

Omdia首席分析师Alexander Harrowell表示：“中国半导体领域的真正成就体现在CPU而非加速器上。中国基于Arm架构的CPU显然已实现规模化生产，且通常像亚马逊云科技（AWS）的Graviton系列那样针对并行工作负载进行了优化。例如，阿里巴巴的倚天710等产品为企业部署当前一代小型AI模型（如阿里巴巴通义千问3）提供了经济实惠的解决方案，适用于用户基数相对较小、工作负载多样性较高的场景。”

若需使用现代化的GPU，Omdia发现最具竞争力的方案是SK Telecom与Lambda Labs合作打造的“GPU即服务”产品。Omdia注意到，许多中国企业热衷于将工作负载迁移至防火墙之外，以期获取现代化GPU和潜在的额外训练数据。其他重要发现包括：几乎所有公司如今都提供“模型即服务”平台，支持微调及其他定制化操作，这已成为企业获取AI能力最常见的方式之一。中国超大规模云服务商对支持边缘AI应用尤为感兴趣。例如，字节跳动（ByteDance）提供了一套预整合解决方案，可用于监控餐厅厨房并报告厨师是否佩戴了工作帽。

关于OMDIA

Omdia隶属于Informa TechTarget, Inc.（纳斯达克代码：TTGT），是一家全球领先的技术研究与咨询机构。依托对科技市场的深刻洞察、与行业领导者的深入对话以及庞大数据资源，Omdia帮助客户洞察趋势、把握机遇，抢占市场先机。从研发到投资回报，我们识别最具潜力的机遇，推动科技产业持续发展。