浪潮旗下YuanLab.ai團(tuán)隊(duì)今日宣布，正式開源面向萬億參數(shù)規(guī)模設(shè)計(jì)的源Yuan3.0 Ultra多模態(tài)基礎(chǔ)大模型。該模型通過系統(tǒng)性優(yōu)化訓(xùn)練效率與架構(gòu)設(shè)計(jì)，在復(fù)雜企業(yè)場景中展現(xiàn)出顯著優(yōu)勢，成為智能體框架構(gòu)建的重要技術(shù)支撐。

模型采用統(tǒng)一多模態(tài)架構(gòu)，由視覺編碼器、語言主干網(wǎng)絡(luò)及多模態(tài)對(duì)齊模塊構(gòu)成。其中語言主干網(wǎng)絡(luò)基于混合專家（MoE）架構(gòu)搭建，包含103層Transformer結(jié)構(gòu)，初始訓(xùn)練參數(shù)規(guī)模達(dá)15150億。通過LAEP方法創(chuàng)新，團(tuán)隊(duì)在預(yù)訓(xùn)練階段將有效參數(shù)優(yōu)化至10100億，算力效率提升49%，激活參數(shù)最終穩(wěn)定在688億規(guī)模。

針對(duì)企業(yè)級(jí)應(yīng)用需求，研發(fā)團(tuán)隊(duì)在模型設(shè)計(jì)中深度融合三大核心能力：多模態(tài)文檔理解可精準(zhǔn)解析圖文混排內(nèi)容；檢索增強(qiáng)生成（RAG）技術(shù)實(shí)現(xiàn)跨文檔知識(shí)關(guān)聯(lián)；表格數(shù)據(jù)分析模塊支持多級(jí)結(jié)構(gòu)表格的智能處理。這些特性使模型能高效完成內(nèi)容摘要、工具調(diào)用等復(fù)雜任務(wù)，為基于OpenClaw等智能體框架的企業(yè)Agent AI提供關(guān)鍵能力支撐。

技術(shù)突破方面，Localized Filtering Attention（LFA）機(jī)制的引入顯著提升了語義建模精度。相比傳統(tǒng)注意力結(jié)構(gòu)，該機(jī)制通過優(yōu)化信息篩選路徑，在保持計(jì)算效率的同時(shí)獲得更高的模型準(zhǔn)確度。測試數(shù)據(jù)顯示，在處理結(jié)構(gòu)化與非結(jié)構(gòu)化混合數(shù)據(jù)時(shí)，模型表現(xiàn)優(yōu)于同類產(chǎn)品12%-18%。

此次開源內(nèi)容全面覆蓋技術(shù)生態(tài)，包含16bit與4bit量化模型權(quán)重、完整訓(xùn)練方法論、技術(shù)白皮書及多維度評(píng)測報(bào)告。開發(fā)社區(qū)可基于現(xiàn)有框架進(jìn)行二次訓(xùn)練，快速適配金融、醫(yī)療、制造等行業(yè)的定制化需求。據(jù)團(tuán)隊(duì)透露，源Yuan3.0基礎(chǔ)模型系列還將陸續(xù)推出Flash（400億參數(shù)）、Pro（2000億參數(shù)）等版本，形成覆蓋不同場景的完整產(chǎn)品線。