英特爾Gaudi2處理器發布，針對中國市場，可為大語言模型提供推理性能

【科技7月11日報道】英特爾AI產品戰略暨Gaudi2新品發布會今日在京舉行。會上，英特爾正式于中國市場推出第二代Gaudi深度學習加速器——Habana Gaudi2。據介紹，Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，具備：24個可編程Tensor處理器核心（TPCs）， 21個100Gbps（RoCEv2）以太網接口， 96GB HBM2E內存容量，2.4TB/秒的總內存帶寬， 48MB片上SRAM，成多媒體處理引擎。據悉，Gaudi2加速器的性能在6月公布的MLCommons MLPerf基準測試1中得到了認證。此外，Gaudi2可為大規模的多模態和語言模型提供推理性能。在最近的Hugging Face評估中，其在大規模推理方面，可以支持運行Stable Diffusion2、70億以及1760億參數BLOOMz3模型。在Stable Diffusion訓練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴展性。據資料顯示，Gaudi2深度學習加速器的架構旨在高效擴展，以滿足大規模語言模型及生成式AI模型的需求。其每張芯片集成了21個專用于內部互聯的100Gbps（RoCEv2 RDMA）以太網接口，從而實現低延遲服務器內擴展。目前，英特爾正與浪潮信息合作，打造并發售基于Gaudi2深度學習加速器的浪潮信息AI服務器NF5698G7。該服務器集成了8顆Gaudi2加速卡HL-225B，同時包含雙路第四代英特爾至強可擴展處理器。（李姝）