近日,AI領(lǐng)域傳來新動態(tài),有消息稱DeepSeek計劃在今年2月中旬農(nóng)歷新年期間發(fā)布新一代旗艦AI模型——DeepSeek V4,這一模型預(yù)計將展現(xiàn)出更為強大的代碼編寫能力,引發(fā)行業(yè)廣泛關(guān)注。
在1月20日,恰逢DeepSeek - R1發(fā)布一周年之際,開發(fā)者群體有了新發(fā)現(xiàn)。他們在GitHub上注意到,DeepSeek更新了一系列FlashMLA代碼,在橫跨114個文件中,有28處都出現(xiàn)了未知的“MODEL1”大模型標識符。這個標識符與已知的現(xiàn)有模型“V32”(即DeepSeek - V3.2)在代碼中并列或區(qū)別提及,這引起了開發(fā)者們的濃厚興趣。
通過對代碼上下文的深入分析,開發(fā)者們推測“MODEL1”很可能代表著一種與現(xiàn)有架構(gòu)截然不同的新模型。進一步的研究表明,“MODEL1”與“V32”在關(guān)鍵技術(shù)層面存在明顯差異。具體體現(xiàn)在鍵值(KV)緩存的布局方式、稀疏性處理手段以及對FP8數(shù)據(jù)格式的解碼支持等方面。這些技術(shù)差異暗示著新架構(gòu)或許在內(nèi)存優(yōu)化和計算效率方面進行了專門的優(yōu)化設(shè)計。
值得一提的是,此前DeepSeek研究團隊已陸續(xù)發(fā)布了兩篇技術(shù)論文。其中一篇介紹了名為“優(yōu)化殘差連接(mHC)”的新型訓(xùn)練方法,另一篇則闡述了一種受生物學(xué)啟發(fā)的“AI記憶模塊(Engram)”。這兩項研究成果的公布,不禁讓外界猜測,DeepSeek正在開發(fā)的新模型很可能會整合這些最新的技術(shù)成果,為AI領(lǐng)域帶來新的突破。






















