本報記者 賈麗

    隨著大模型技術的快速發展，AI推理對算力的需求日益增長，尤其是在大規模并發場景下，如何實現高吞吐、低延遲的推理性能成為行業關注的焦點。

    近日，中國自主開源大模型DeepSeek公布了其推理系統采用了其大規模跨節點專家并行（以下簡稱“大EP”）并行能力，通過其支持的批量擴展、計算通信重疊、全局負載均衡來實現對吞吐量和延遲的優化。其開源策略也有力推動了從框架、工具鏈到應用場景的全面國產化進程。同時，DeepSeek還給出了其在線服務的統計數據：（理論）成本利潤率高達545%。業界認為，這會為AI產業帶來信心，進一步激發新一輪算力建設投資。

    而昇騰在大EP方面亦有深度的技術創新和創新實踐。據了解，昇騰大EP并行技術通過將專家（Expert）分布到更多的計算卡上，顯著減少了單卡的顯存占用和權重加載時間，從而提升了單卡的并發處理能力，且通過批量擴展、計算通信重疊、全局負載均衡等關鍵技術，實現了對AI推理吞吐量和延遲的極致優化。

    據悉，昇騰大EP方案在單卡性能上提升了3倍，同時將推理時延降低了50%以上，為行業提供了更高性能、更低成本的推理解決方案。

    近日，DeepSeek的開源實踐也成為業內熱議焦點。DeepSeek通過工程創新，降低了AI模型訓練和推理的算力門檻，通過開源方式進一步降低了行業部署的門檻，推動了大模型技術的普及。

    據了解，開源的昇騰大EP方案通過多專家負載均衡、PD分離部署、雙流并行計算、MLAPO融合算子等關鍵技術，實現了推理性能的顯著提升，不僅適用于私有云部署，還可以在公有云環境中靈活擴展，可以滿足互聯網、金融、醫療等多領域企業對高性能、低成本的AI推理的需求。

    隨著大模型技術的普及，AI推理正在進入千行百業。業內專家認為，DeepSeek的開源模型和昇騰大EP方案的結合，將為行業客戶提供了強大的技術支持。

    以金融行業為例，銀行可以通過部署昇騰大EP方案，將推理性能提升了3倍，并顯著降低推理時延。在教育領域，高校可以通過部署昇騰推理資源池，支持數千名師生同時使用AI模型進行教學和研究。

    業內專家預測，未來幾年，AI推理的算力需求將呈現爆發式增長。昇騰大EP方案通過性能提升和成本優化，助力AI技術的規模化商用。昇騰將深耕AI推理領域，推動大EP并行技術的創新與應用，助力千行百業實現智能化轉型。

（編輯 李波）