大型語(yǔ)言模型在深度擴(kuò)展過(guò)程中面臨的信息衰減問(wèn)題，一直是制約其性能提升的關(guān)鍵瓶頸。華中科技大學(xué)電子信息與通信學(xué)院與字節(jié)跳動(dòng)Seed團(tuán)隊(duì)聯(lián)合攻關(guān)，提出深度混合注意力機(jī)制（MoDA），通過(guò)創(chuàng)新的信息傳遞方式顯著提升了模型處理復(fù)雜任務(wù)的能力。該研究成果已發(fā)表于arXiv平臺(tái)，論文編號(hào)為arXiv:2603.15619v1。

傳統(tǒng)模型在增加網(wǎng)絡(luò)層數(shù)時(shí)，早期輸入的關(guān)鍵信息會(huì)因反復(fù)壓縮而逐漸丟失，就像傳話游戲中原始信息在多次傳遞后失真?，F(xiàn)有解決方案存在明顯局限：殘差連接雖能緩解梯度消失問(wèn)題，但會(huì)將歷史信息壓縮為單一線索，導(dǎo)致重要特征被稀釋；密集連接雖能完整保留歷史信息，卻因計(jì)算復(fù)雜度隨層數(shù)平方增長(zhǎng)而難以應(yīng)用于大型模型。

研究團(tuán)隊(duì)提出的MoDA機(jī)制突破了傳統(tǒng)框架，通過(guò)將序列注意力與深度注意力融合到統(tǒng)一計(jì)算空間，使每個(gè)注意力頭既能處理當(dāng)前層信息，又能自適應(yīng)檢索歷史層的關(guān)鍵特征。這種設(shè)計(jì)相當(dāng)于為模型配備智能記憶系統(tǒng)，在保持計(jì)算效率的同時(shí)實(shí)現(xiàn)跨層信息的高效利用。實(shí)驗(yàn)數(shù)據(jù)顯示，在1.5B參數(shù)規(guī)模的模型中，MoDA使下游任務(wù)平均性能提升2.11%，而計(jì)算開(kāi)銷僅增加3.7%。

技術(shù)實(shí)現(xiàn)層面，MoDA構(gòu)建了擴(kuò)展的鍵值序列結(jié)構(gòu)，將當(dāng)前層信息與歷史深度信息聯(lián)合處理。通過(guò)掩碼機(jī)制確保因果性約束，使每個(gè)查詢只能訪問(wèn)對(duì)應(yīng)的歷史深度信息。在寫(xiě)入階段，模型采用輕量級(jí)鍵值投影技術(shù)，將前饋網(wǎng)絡(luò)層的信息也納入深度流，形成包含多類型信息的完整記憶庫(kù)。這種設(shè)計(jì)既保證了信息完整性，又將參數(shù)復(fù)雜度控制在線性增長(zhǎng)范圍。

針對(duì)硬件部署挑戰(zhàn)，研究團(tuán)隊(duì)開(kāi)發(fā)了系列優(yōu)化算法。通過(guò)Flash兼容的深度鍵值布局，將內(nèi)存訪問(wèn)模式優(yōu)化為連續(xù)塊操作，使64K序列長(zhǎng)度下的處理效率達(dá)到FlashAttention-2的97.3%。進(jìn)一步提出的塊感知布局和組感知計(jì)算策略，通過(guò)局部深度鍵值訪問(wèn)和共享基時(shí)間索引技術(shù)，將有效深度利用率提升至理論極限的80%以上。這些創(chuàng)新使MoDA在保持理論優(yōu)勢(shì)的同時(shí)，具備了實(shí)際工程應(yīng)用的可能性。

實(shí)驗(yàn)驗(yàn)證表明，MoDA在不同規(guī)模模型中均表現(xiàn)出穩(wěn)定性能提升。在700M參數(shù)模型上，訓(xùn)練困惑度降低0.41，下游任務(wù)性能提升1.17%；1.5B參數(shù)模型在10個(gè)基準(zhǔn)測(cè)試中平均困惑度下降0.2。注意力可視化分析顯示，模型確實(shí)在跨層深度信息上分配了顯著注意力權(quán)重，特別是中間層和后期層表現(xiàn)出持續(xù)的歷史信息檢索行為。這種機(jī)制使模型能夠同時(shí)處理局部序列依賴和全局深度關(guān)系，形成更復(fù)雜的信息處理模式。

研究團(tuán)隊(duì)還探索了深度鍵值狀態(tài)的有界緩存技術(shù)，通過(guò)固定大小的深度鍵值槽緩沖區(qū)，動(dòng)態(tài)管理歷史信息存儲(chǔ)。這種設(shè)計(jì)將內(nèi)存開(kāi)銷從深度依賴轉(zhuǎn)為槽位依賴，為超大規(guī)模模型訓(xùn)練提供了可行方案。初步實(shí)驗(yàn)顯示，在48層模型中，后歸一化配置從深度鍵值中獲得的收益比預(yù)歸一化配置大10倍，表明該技術(shù)特別適用于深層網(wǎng)絡(luò)優(yōu)化。

目前，研究團(tuán)隊(duì)已開(kāi)源完整實(shí)現(xiàn)代碼，包括樸素實(shí)現(xiàn)版本和經(jīng)過(guò)多重優(yōu)化的高效版本。這些代碼為開(kāi)發(fā)者提供了從基礎(chǔ)驗(yàn)證到工業(yè)部署的完整工具鏈，特別是硬件感知優(yōu)化策略，可直接應(yīng)用于現(xiàn)有AI基礎(chǔ)設(shè)施的升級(jí)改造。隨著CUDA工程優(yōu)化的持續(xù)推進(jìn)，MoDA有望成為下一代大型語(yǔ)言模型的核心組件之一。