AI影片又一大突破！一人一機，拍出電影級動畫表情捕捉

編譯 | 汪越

編輯 | 漠影

智東西10月23日訊息，據VentureBeat報道，10月22日，明星AI影片創企Runway推出了一項名為Act-One的新功能。

Act-One整合在了Runway的影片生成模型Gen-3 Alpha中。使用者可以使用手機或相機輕鬆錄製自己或他人的影片，之後利用Act-One功能將錄製物件的面部表情轉移到AI生成的角色上。

根據Runway官方部落格釋出的資訊，從昨天開始，該公司已逐步向現有使用者開放Act-One功能，並計劃在未來不久內全面開放給所有使用者。

一、簡化傳統3D動畫複雜流程，Act-One精準捕捉演員微表情

自2022年底首批文生影片模型問世以來，AI影片技術在真實性、解析度、保真度、提示匹配度（即AI生成的影片與使用者提供的描述或示例的契合程度）以及生成數量等方面取得了顯著進步。

然而，對於許多AI影片創作者來說，一個持續存在的挑戰是如何在AI生成的角色中實現真實且可控的面部表情。大多數現有的解決方案在這方面表現得相當有限。

如今，Act-One功能為這一難題提供瞭解決方案，在使用生成模型來再現真人動作和動畫內容方面邁出了重要的一步。

所有擁有Runway賬戶的使用者都可以嘗試這項新功能，透過Gen-3 Alpha影片生成模型來建立新的影片。不過，目前只有積分充足的使用者才能使用該功能。Gen-3 Alpha於今年早些時候推出，支援多種輸入方式，包括文字轉影片、圖片轉影片及影片轉影片。使用者可以透過描述場景、上傳圖片或影片，或者結合這些元素，讓Gen-3 Alpha基於輸入內容生成全新的影片。

儘管Act-One當前的可用性仍然有限，但已經獲得了不少AI影片創作者的高度評價。此外，Runway最近宣佈與好萊塢知名電影公司獅門影業達成合作，將基於獅門影業超過2萬個影片的內容庫，開發定製化的AI影片生成模型。

傳統的面部動畫製作通常是一個複雜且耗時的過程，涉及動作捕捉裝置、手動面部繫結和多個參考鏡頭。這些技術的目標是將演員的表演轉化為適合動畫流程的3D模型。

對電影製作感興趣的人可能在片場或觀看《指環王》系列、《阿凡達》等特效和動作捕捉電影的幕後花絮時，瞭解到這一過程的複雜性。例如，在《猩球崛起》中，演員們全身佈滿乒乓球標記，臉上也貼滿了標記，並佩戴著頭戴式裝置。

▲演員臉上佈滿標記，並被頭戴式裝置擋住。（圖源：YouTube）

據VentureBeat報道，正是這種對複雜面部表情精確建模的需求，促使導演大衛·芬奇（David Fincher）和他的團隊在《本傑明·巴頓奇事》中開發了全新的3D建模流程，並最終贏得了奧斯卡獎。

傳統3D動作捕捉的主要難點在於如何在數字角色中保留參考鏡頭中的情感和細微表情。為了克服這一難題，近年來許多AI初創公司致力於減少精確動作捕捉所需的裝置。例如，去年成功籌集了1000萬美元種子輪融資的3D動作捕捉應用Move AI，推出了一項單裝置動作捕捉功能。透過這一功能，使用者可以使用智慧手機攝像頭或數碼相機，實現對全身和更廣泛動作的捕捉。

相比之下，Act-One使這一複雜過程變得更加簡單易懂。Act-One專注於面部表情建模，使用者可以透過簡單的攝像機設定準確捕捉演員的表演，包括眼神、微表情和微妙的節奏。這樣，創作者可以以各種風格和設計製作角色動畫，而無需使用動作捕捉裝置或進行角色繫結。

▲只需簡單的演員表演影片，即可為生成的角色製作動畫。（圖源：Runway）

正如Runway在其X賬號上所述：“Act-One能夠將單一輸入影片中的表演轉化為無數不同的角色設計和多種風格。”

Act-One適用於各種參考影象，能夠保留真實的面部表情，並將表演精準地轉換到不同比例的角色上。這種多功能性為創意角色設計和動畫開闢了新的可能性。

▲使用簡單的家用攝像機即可捕捉演員的表演，併為生成的角色製作動畫。此外，還可以新增語音交替效果。（圖源：Runway）

二、Act-One的其他優勢：多攝像機角度的電影現實主義、更廣泛的影片敘事能力及公眾人物權益保護

Act-One的一大優勢在於它能夠從各種攝像機角度和焦距提供電影級的逼真輸出，並且在不同角度下都能保持高保真的面部動畫。這種靈活性增強了創作者透過角色表演講述情感共鳴故事的能力，而這在過去通常需要昂貴的裝置和複雜的多步驟工作流程才能實現。

Runway之前已經支援影片到影片的AI轉換功能，允許使用者上傳自己的影片，並讓Gen-3 Alpha或其他先前的Runway AI影片模型（如Gen-2）對其進行“重新設計”。新的Act-One功能特別針對面部對映和效果進行了最佳化。Runway聯合創始人兼執行長克里斯托弗·巴倫蘇埃拉（Cristóbal Valenzuela）在接受VentureBeat採訪時提到，一致性和效能是Act-One的突出特點。

▲捕捉真人表演，輸出逼真的電影人物。（圖源：Runway）

此外，Runway一直在探索Act-One如何生成多回合、富有表現力的對話場景，這在過去使用生成影片模型時是非常具有挑戰性的。

現在，使用者只需使用普通相機和一名演員閱讀並表演劇本中的不同角色，即可建立敘事內容。一個演員僅用常見的相機就可以扮演多個角色，模型會為每個角色生成不同的輸出。這種能力有望改變敘事內容的創作方式，特別是在獨立電影製作和數字媒體領域，這些領域通常缺乏高階製作資源。

巴倫蘇埃拉在X上公開說道，行業處理生成模型的方式發生了轉變。現在，人們已經超越了質疑生成模型是否能生成一致影片的階段。一個好的模型已成為新的基準。關鍵在於如何使用這個模型，如何思考它的應用和用例，以及最終構建的內容。

▲使用單個演員和攝像機設定編輯的多機位對話場景，驅動兩個獨特生成角色的表演。（圖源：Runway）

Runway的安全生成媒體基礎是其當前和未來發布的Act-One的基礎。與Runway的所有版本一樣，Act-One配備了一套全面的內容稽覈和安全預防措施。這些措施包括檢測並阻止生成包含公眾人物內容的嘗試，技術驗證措施確保終端使用者有權使用他們透過自定義語音建立的語音，以及持續監控以檢測並減少對工具和平臺的潛在濫用。

結語：Act-One突破面部識別技術障礙，推動AI影片創意新高度

Act-One突破了AI面部識別技術的障礙，將有助於Runway在與越來越多競爭對手的競爭中脫穎而出。競爭對手包括，AI影片初創公司Luma AI、中國AI初創公司MiniMax旗下的AI影片生成器Hailuo、快手旗下的AI影片模型Kling，以及AI影片初創公司Genmo昨天剛推出的Mochi 1開源影片生成模型。

透過減少傳統角色動畫的技術障礙，Runway有望在數字媒體領域激發新的創造力。藉助Act-One，複雜的動畫技術變得更加易於使用。隨著Act-One的推出和被更多使用，我們或許會看到許多藝術家、電影製作人和其他創作者利用這一新工具實現他們的創意。