10月27日，高通官方宣布推出了面向数据中心的下一代AI推理优化解决方案——基于高通AI200和AI250芯片打造的加速卡和机架。这两大方案都以高通NPU技术为基础，具有丰富的软件栈，并与主流AI框架兼容，支持一键式模型部署，我爱音频网报道。
高通AI200带来了专为机架级AI推理打造的解决方案，针对大语言模型和多模态模型（LLM、LMM）推理和其他AI工作负载优化了性能，并具有总体拥有成本（TCO）更低的优势。该方案每张卡支持768GB LPDDR大内存，实现更高容量的同时，也能降低成本，带来更出色的扩展能力和灵活性。
另一个高通AI250解决方案则采用近内存计算的创新内存架构，提供超过10倍的有效内存带宽提升和更低的功耗，让AI推理工作负载实现效率和性能大幅提升。
上面提到的两款机架解决方案都采用直接液冷散热以提升效率，支持PCIe纵向扩展与以太网横向扩展、机密计算功能保障AI工作负载安全，机架级功耗为160kW。
高通超大规模级的AI软件栈实现了从应用层到系统软件层的端到端覆盖，并针对AI推理进行深度优化。该软件栈支持主流机器学习框架、推理引擎、生成式AI框架，以及大语言模型/多模态模型推理优化技术，软件平台提供即用型的AI应用、综合工具等。
官方表示，凭借高通AI200与AI250，正在重新定义机架级AI推理的可能性。这些创新的AI基础设施解决方案让客户能够以前所未有的总拥有成本部署生成式AI，同时满足现代数据中心所需的灵活性与安全性。
高通此次推出的AI200和AI250预计分别在2026年和2027年商用，更多评测、拆解敬请期待我爱音频网。
