原文標題:Real-Time Video at Batch Size One

Runway於11月5日公開Characters即時影片系統研究,說明如何讓約570億參數的自回歸影片擴散模型支援持續對話。服務以每秒24影格為目標,每166.7毫秒就須產生一組四影格、解析度704乘1088的影片。公司表示,原本在四張H100上每個擴散步驟需240.9毫秒,經快取與運算最佳化後縮至159.3毫秒,達到持續24.5影格;融合通訊核心則可再降至147.4毫秒。

團隊把位置編碼與FP8量化移到新資料寫入快取時處理,避免每次注意力呼叫都重做,讓快取維護從每步69.7毫秒降至6.2毫秒;另一項作法把平行運算的歸約通訊與矩陣乘法融合。影片解碼另放在獨立GPU上,與擴散工作重疊執行,因此四張H100是擴散運算配置,不等於完整服務總用卡數。Runway也記錄核心在軟體升級後出現記憶體問題及回復修正過程,並坦承唇形同步評估對風格化角色較弱、長時間測試樣本有限。這份研究是在說明既有系統的工程改善,並未宣布新的售價或通用硬體效能保證。

發生了什麼事

Runway公開Characters的即時推論最佳化,將四張H100上的擴散步驟縮短至可持續播放的範圍,並說明快取、通訊與獨立解碼的設計。

為什麼重要

互動角色不能等整段影片生成完才播放,延遲與持續影格率都很重要。研究呈現從單次運算到長時間服務的問題,而非只列短時間測速結果。

影響哪些人

主要供影片生成系統、GPU核心與即時互動產品開發者參考。實際延遲仍包含語音智慧體、影片傳遞及解碼,不能只用擴散步驟代表完整回應時間。

已確認與未確認

已提供特定配置下的測量與部署經驗,但品質測試仍有樣本及量測限制。四張H100未包含獨立解碼GPU,也不能推論其他模型有相同加速比例。