【科大訊飛:聯合華爲實現國產算力大規模跨節點專家並行集羣推理

【科大訊飛:聯合華爲實現國產算力大規模跨節點專家並行集羣推理】3月11日訊,科大訊飛發佈消息稱,科大訊飛聯合華爲近日率先實現國產算力大規模跨節點專家並行集羣推理。據其介紹,通過分佈式架構創新與算法協同優化,單卡靜態內存佔用縮減至雙機部署的1/4,效率提升75%,專家計算密度增加4倍,推理吞吐提升3.2倍,端到端時延降低50%。這一解決方案也將應用於訊飛星火深度推理模型的訓練加速,預期訓練時推理效率將提升200%。
貼心提醒:
1.本公司所提供之即時報價資訊,不代表勸誘投資人進行期貨交易,且不保證此資料之正確性及完整性。
2.實際可交易商品相關資訊請以主管機關公告為限。