【小紅書開源首個大模型,11萬億非合成訓練數據】6月9日訊,

【小紅書開源首個大模型,11萬億非合成訓練數據】6月9日訊,社交平臺小紅書,開源了首個大模型——dots.llm1。dots.llm1是一個1420億參數的專家混合模型(MoE),在推理過程中僅激活140億參數,能保持高性能的同時大幅度降低訓練和推理成本。dots.llm1最大特色是使用了11.2萬億token的非合成高質量訓練數據,這在現階段的開源大模型中非常罕見,看來小紅書也得益於自己龐大的語料庫出手就是闊啊。所以,在中文測試中dots.llm1的性能非常強,以91.3的平均分超過了DeepSeek開源的V2、V3和阿里開源的Qwen2.532B和72B。(AIGC開放社區)
貼心提醒:
1.本公司所提供之即時報價資訊,不代表勸誘投資人進行期貨交易,且不保證此資料之正確性及完整性。
2.實際可交易商品相關資訊請以主管機關公告為限。