精華筆記

· @aihub.tw

AI

Synthesia Dubbing 2.0:AI 影片翻譯升級,嘴型對得上、160+ 語言

原片講者:Synthesia

0:00 / 0:00

如果你做過影片翻譯,一定遇過那個尷尬畫面:聲音換成另一種語言,嘴巴卻還在動原本的口型,像對嘴對歪的老配音片。Synthesia 這次推出的 Dubbing 2.0,主打的就是把這件事修好——影片配音、翻譯不只換聲音,還讓嘴型跟著新語言走。而且官方為了慶祝上線,講了一句很有感的話:「every user gets(每個用戶都有份)」。以下幫你拆清楚。

Dubbing 2.0 到底新在哪

這次是整套後端重寫,重點有幾個:

嘴型同步(lip-sync)更準。 新模型會追蹤嘴巴的細微動作,就算影片有快速剪接、場景切換、或畫面裡好幾個人講話,官方說都能維持「逐格對齊」。舊版最容易在這種鏡頭飄掉,這次就是衝著這個痛點來。

保留原聲的情緒和語氣。 配出來的聲音講究自然的節奏、忠實還原口音,情緒起伏的範圍也更廣——不會像早期 AI 配音那種平板念稿感。多人講話的場景也能各自對上正確的講者。

翻譯會顧到原本的時間長度。 翻譯引擎會盡量貼合原句的時長,讓需要手動補時間、修長短的段落大幅減少。另外新增了**術語表(glossary)**支援,同一個專有名詞在每種語言都翻得一致,這對品牌名、產品名很實用。

改稿不燒額度。 你可以先審、先改逐字稿跟翻譯,不會扣點數;要重配也能只重生成單一段落,不用整支影片重來。

語言方面,官方講到支援 160+ 語言(功能頁另有 140+ 的說法,含右到左書寫的語系和地區口音變體)。

能拿它來做什麼

簡單講就是:一支影片,一鍵變成多國語言版本,而且看起來不像機翻。

  • 產品/教學影片國際化:把中文的教學片配成英、日、韓、西班牙文,嘴型對得上,觀感接近原生。
  • YouTube/社群多語經營:想開多語言頻道又不想重錄,直接翻。
  • 企業內訓、行銷素材在地化:搭配術語表,確保品牌詞彙一致。

對照過去要找配音員、對時間軸、重剪的成本,這種「上傳原片→選語言→微調」的流程確實省很多。

對誰有用,以及那句「every user gets」

重點來了。為了慶祝 Dubbing 2.0 上線,官方祭出限時活動:從 7/15 到 8/15,每個用戶每天有 15 分鐘免費配音額度,整段活動加總最多可用到 450 分鐘。

這功能上線即開放給所有客戶,可以免費試用;企業方案則解鎖無限制的配音與更順的編輯流程。所以如果你手上剛好有影片想翻成多語言,這一個月正是零成本試水溫的窗口——每天都有額度,用不完的別浪費。

總結一句:Synthesia Dubbing 2.0 不是換個聲音那麼簡單,而是把「嘴型、情緒、時間、術語」這幾個最容易露餡的地方一起補起來。加上這波每人每天 15 分鐘的免費額度,想試 AI 影片翻譯的人現在動手最划算。

Synthesia Dubbing 2.0

#AI工具#Synthesia#AI配音#影片翻譯

原片來源:https://www.synthesia.io/post/introducing-dubbing-2-0

← 回所有文章