谷歌DeepMind近日宣布推出Gemini Embedding 2，這一突破性模型首次實現(xiàn)了文本、圖像、視頻、音頻和文檔五種媒體形式的原生多模態(tài)嵌入。通過將不同類型的數(shù)據(jù)統(tǒng)一映射到單一向量空間，該技術為人工智能在跨模態(tài)理解領域開辟了新路徑，標志著嵌入技術從單一模態(tài)向全模態(tài)融合的重要跨越。

該模型支持超過100種語言的語義理解，在文本、圖像和視頻任務的基準測試中展現(xiàn)出超越現(xiàn)有主流模型的性能。其核心創(chuàng)新在于引入了原生語音處理能力，可直接將音頻數(shù)據(jù)轉換為嵌入向量，無需經(jīng)過傳統(tǒng)語音轉文本的中間步驟。這種端到端的處理方式顯著提升了語音數(shù)據(jù)的處理效率，同時保留了原始音頻中的情感、語調等非文本信息。

在技術架構層面，Gemini Embedding 2基于成熟的Gemini框架擴展而來。輸入處理能力覆蓋多種媒體類型：文本支持最長8192個token；圖像可同時處理6張PNG或JPEG格式圖片；視頻支持最長120秒的MP4/MOV文件；文檔則可直接嵌入最多6頁的PDF內容。更值得關注的是，模型支持交錯輸入模式，允許開發(fā)者在單次請求中組合多種媒體類型，從而捕捉不同形式數(shù)據(jù)間的復雜語義關聯(lián)。

針對企業(yè)級應用場景，該模型提供了靈活的向量維度配置選項。開發(fā)者可根據(jù)實際需求選擇3072、1536或768三檔輸出維度，在模型性能與存儲成本間取得平衡。這項特性對于需要處理海量嵌入向量的企業(yè)尤為重要，例如構建多模態(tài)檢索增強生成系統(tǒng)時，可在保證精度的前提下顯著降低基礎設施開銷。

在技術實現(xiàn)上，模型延續(xù)了谷歌自主研發(fā)的Matryoshka表示學習技術。該技術通過動態(tài)壓縮向量維度的"嵌套"機制，使輸出維度可根據(jù)應用場景靈活調整。這種創(chuàng)新設計既保持了高維向量的表達能力，又通過維度縮減優(yōu)化了存儲效率，特別適用于需要大規(guī)模部署嵌入向量的商業(yè)場景。

目前，Gemini Embedding 2已通過Gemini API和Vertex AI平臺開放公開預覽。早期訪問合作伙伴正在探索其在多模態(tài)語義搜索、數(shù)據(jù)分類等領域的實際應用，部分用例已展現(xiàn)出顯著的技術優(yōu)勢。隨著更多開發(fā)者接入該模型，預計將催生出更多創(chuàng)新應用場景，推動人工智能在跨模態(tài)理解領域的技術演進。