OmniHuman 是字節(jié)跳動推出的端到端多模態(tài) AI 數(shù)字人生成框架。它能夠僅憑 一張靜態(tài)人物照片 與 音頻（語音、音樂）?，自動生成 逼真的全身視頻，實現(xiàn)人物說話、唱歌、演奏樂器、手勢交互等多種動作與表情同步。

OmniHuman官網(wǎng)入口網(wǎng)址：https://omnihuman-lab.github.io/

關(guān)鍵特性

1. 多模態(tài)條件驅(qū)動：支持圖像、音頻、姿態(tài)等多種信號作為驅(qū)動條件，實現(xiàn)音頻?動作?口型的高精度同步。
2. 基于 Diffusion?Transformer（DiT）架構(gòu)：將擴(kuò)散模型與 Transformer 結(jié)合，采用 混合條件訓(xùn)練策略，在大規(guī)模多模態(tài)數(shù)據(jù)上進(jìn)行端到端學(xué)習(xí)，突破了傳統(tǒng)數(shù)字人模型對單一訓(xùn)練信息的依賴。
3. 全條件訓(xùn)練：通過“全條件”方式讓模型從更廣泛的數(shù)據(jù)中學(xué)習(xí)，提升了對不同風(fēng)格（真人、動漫、3D 卡通）和不同圖像比例（肖像、半身、全身）的適配能力。
4. 高質(zhì)量輸出：生成的視頻在細(xì)節(jié)、光照、紋理上保持一致，能夠精準(zhǔn)捕捉音頻情感并對應(yīng)相應(yīng)的肢體動作和表情，支持 15 秒一鍵生成，已在教育、影視、虛擬偶像等商業(yè)場景落地。
5. 開放 API（即夢AI 平臺）?：通過即夢AI 提供的 API，用戶只需上傳圖片和音頻，即可調(diào)用 OmniHuman 完成視頻生成，降低了創(chuàng)作門檻。

技術(shù)亮點

• 多模態(tài)運動條件混合訓(xùn)練：在訓(xùn)練階段同時引入文本、音頻、姿態(tài)等多種驅(qū)動信號，提升模型對弱信號（如僅音頻）的生成質(zhì)量。
• 支持任意寬高比輸入：模型能夠處理不同尺寸的圖像，保持原有運動風(fēng)格，適用于肖像、半身、全身等多種場景。
• 跨模態(tài)生成能力：除了音頻驅(qū)動，還可接受姿態(tài)或視頻驅(qū)動，實現(xiàn)更靈活的動畫創(chuàng)作。

應(yīng)用場景

• 短視頻創(chuàng)作：快速生成帶口型同步的宣傳或帶貨視頻。
• 虛擬主播/數(shù)字人：用于直播、教育培訓(xùn)中的虛擬形象。
• 影視特效：為角色動畫提供高效的動作與表情合成。
• 游戲與動漫：將靜態(tài)角色圖像轉(zhuǎn)化為動態(tài)演繹，提升互動體驗。

OmniHuman 的應(yīng)用場景能夠顯著降低制作成本、提升創(chuàng)作效率。OmniHuman 代表了 AI 數(shù)字人技術(shù)從“上半身動畫”向“全身高保真視頻”邁進(jìn)的重要一步。