商湯科技與南洋理工大學(xué)S-Lab聯(lián)合研發(fā)的多模態(tài)模型架構(gòu)NEO正式發(fā)布，并同步開(kāi)源2B與9B兩種參數(shù)規(guī)模的模型。這一突破性成果為多模態(tài)大模型領(lǐng)域帶來(lái)全新范式，其核心架構(gòu)通過(guò)底層創(chuàng)新實(shí)現(xiàn)了視覺(jué)與語(yǔ)言模態(tài)的深度融合，在數(shù)據(jù)效率、性能表現(xiàn)及部署成本等關(guān)鍵指標(biāo)上達(dá)到行業(yè)領(lǐng)先水平。

傳統(tǒng)多模態(tài)模型普遍采用"視覺(jué)編碼器+投影器+語(yǔ)言模型"的模塊化設(shè)計(jì)，這種基于大語(yǔ)言模型擴(kuò)展的方案雖能處理圖像輸入，但本質(zhì)仍以語(yǔ)言為中心。商湯科技指出，此類(lèi)架構(gòu)存在三大缺陷：數(shù)據(jù)層面淺層融合導(dǎo)致學(xué)習(xí)效率低下，圖像細(xì)節(jié)捕捉能力受限，復(fù)雜空間結(jié)構(gòu)理解困難。例如在需要精準(zhǔn)識(shí)別物體位置關(guān)系或動(dòng)態(tài)場(chǎng)景的場(chǎng)景中，傳統(tǒng)模型往往表現(xiàn)乏力。

NEO架構(gòu)通過(guò)三項(xiàng)底層創(chuàng)新實(shí)現(xiàn)模態(tài)融合的質(zhì)變。其獨(dú)創(chuàng)的原生圖塊嵌入技術(shù)（Native Patch Embedding）摒棄離散圖像分詞器，通過(guò)連續(xù)映射機(jī)制從像素級(jí)構(gòu)建視覺(jué)表征，使模型能捕捉到比傳統(tǒng)方法精細(xì)4倍的圖像細(xì)節(jié)。在位置編碼方面，原生三維旋轉(zhuǎn)位置編碼（Native-RoPE）創(chuàng)新性地解耦時(shí)空頻率分配，為視覺(jué)模態(tài)分配高頻信號(hào)、語(yǔ)言模態(tài)分配低頻信號(hào)，這種設(shè)計(jì)使模型天然具備處理視頻流和跨幀信息的能力。

注意力機(jī)制層面，原生多頭注意力（Native Multi-Head Attention）突破傳統(tǒng)框架，在統(tǒng)一架構(gòu)中同時(shí)實(shí)現(xiàn)文本的自回歸注意力與視覺(jué)的雙向注意力。這種設(shè)計(jì)使模型在處理圖文混合任務(wù)時(shí)，空間關(guān)聯(lián)利用率提升37%，特別在需要理解物體遮擋關(guān)系或動(dòng)態(tài)軌跡的場(chǎng)景中表現(xiàn)突出。配合Pre-Buffer&Post-LLM雙階段訓(xùn)練策略，模型在保持語(yǔ)言推理能力完整性的同時(shí)，視覺(jué)感知能力實(shí)現(xiàn)指數(shù)級(jí)增長(zhǎng)。

實(shí)測(cè)數(shù)據(jù)顯示，NEO架構(gòu)展現(xiàn)出顯著優(yōu)勢(shì)：在數(shù)據(jù)效率方面，僅需3.9億圖像文本樣本即可達(dá)到頂尖視覺(jué)理解水平，數(shù)據(jù)需求量?jī)H為同類(lèi)模型的1/10；性能測(cè)試中，在MMMU、MMB等五大權(quán)威基準(zhǔn)測(cè)試中均取得最優(yōu)成績(jī)；部署成本方面，0.6B-8B參數(shù)規(guī)模的模型在邊緣設(shè)備上的推理速度提升2.3倍，特別適合移動(dòng)端和物聯(lián)網(wǎng)設(shè)備部署。商湯已開(kāi)放基于NEO架構(gòu)的模型下載，開(kāi)發(fā)者可通過(guò)開(kāi)源社區(qū)獲取完整代碼與訓(xùn)練框架。