Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

ADVERTISEMENT

只需要輸入一段語音,程式碼會自動產生與發音相對應,毫無違和感的動畫嘴形。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

這是一個在GitHub上擁有高評價的開源專案,叫做Rhubarb Lip Sync。

它可以在Windows和OS X上執行,也可以作為軟體的外掛使用,能夠根據語音記錄自動創建2D嘴型動畫。

它可以用於電玩遊戲、動畫卡通中的角色,或者用於其他需要基於現有錄音、對嘴部進行動畫處理的的影視專案。

那麼,它是怎麼做到這種效果的呢?

運作原理

首先,了解一下動畫人物說英文的六種嘴型。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型上述六種嘴型是由漢納巴伯拉動畫(Hanna-Barbera)所發明,現已經成為2D動畫嘴型的製作標準,被迪士尼和華納兄弟等影視公司在多部影視作品採用。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

大多數的發音,都可以用這六種嘴型表示出來。

因此,Rhubarb Lip Sync工作的步驟如下:

  • 輸入一段語音
  • Lip Sync辨識這段語音
  • 使用六個基本嘴形和最多三個擴展嘴形與語音匹配
  • 輸出一個固定格式的檔案

那如果說出個奇怪的方言,它也能輸出相應的嘴型動畫嗎?

當然不是。

目前,Rhubarb Lip Sync只提供了兩個語音辨識系統:

  • PocketSphinx:只能辨識英語,準確率更高。
  • Phonetic :能辨識所有語言,因為它是依據個人的聲音和音節判別的,但準確率不如前者。

那麼,這個小工具可以跟哪些視頻軟體融合使用呢?

可適用於多款軟體

Adobe After Effects

可以在下載Rhubarb Lip Sync,並且安裝到AE上,可以直接在AE上執行這個軟體。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

Moho and OpenToonz

Rhubarb Lip Sync能夠產生.dat的檔案,這種檔案可以被Moho and OpenToonz辨識,並導入使用。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一個圖形工具,可讓導入Spine專案,執行自動嘴形同步,然後將結果重新導入Spine。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

Vegas Pro by Magix

Rhubarb Lip Syn 還附帶了兩個用於Vegas Pro(以前稱為Sony Vegas)的外掛腳本,可直接在Vegas中使用。

Rhubarb Lip Sync能根據輸入的語音自動產生與之匹配的動畫人物嘴型

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則