原文標題:Multimodal embeddings beyond a single vector
Perplexity 於 10 月 7 日發表新一代多模態檢索研究,推出 pplx-embed-v2-late 模型系列,提供 6 億與 90 億參數兩種尺寸。不同於將整份文件壓縮成單一向量的常見做法,新模型採用多向量表示與晚期互動設計,讓搜尋系統在比對查詢與文件時保留更多細節。
官方指出,兩種模型共用嵌入空間,因此可以由較大的模型建立品質較高的文件索引,再讓較小的模型處理查詢。這樣的設計試圖兼顧索引品質與即時查詢成本,特別適合同時處理文字與圖片的檢索工作,而不必每次都用最大模型重新運算整份資料。
技術上,模型採 ColBERT 類型的晚期互動架構,為輸入中的各個 Token 產生 128 維向量,再使用 MaxSim 計算查詢與文件之間的相似度。Perplexity 在 ViDoRe V3 等視覺文件檢索測試中報告具有競爭力的表現,並已將兩種模型公開提供於 Hugging Face。
這項研究對需要搜尋 PDF、圖文混合文件與大型知識庫的團隊具有參考價值,但實際成效仍受資料分布、索引規模、硬體與查詢延遲要求影響。官方基準測試結果不能直接當成所有企業環境的保證,部署前應以自己的文件集合進行驗證。
發生了什麼事
Perplexity 發布 6 億與 90 億參數的多模態晚期互動檢索模型,並提供共用向量空間。這些資訊以官方公告為主要依據。
為什麼重要
多向量檢索能減少單一向量表示的資訊壓縮限制,為圖文文件搜尋提供新的效能取捨。後續實際效益仍需持續追蹤。
影響哪些人
搜尋引擎開發者、企業知識庫團隊、RAG 系統整合商及多模態應用開發者可評估採用。不同組織可依使用情境評估。
已確認與未確認
模型尺寸、技術架構與公開下載已確認;跨語言部署效能、企業資料集表現及推論成本仍需獨立測試。若有版本更新,應以最新官方文件為準。