Motionshop—AI替換視頻人物，上傳一段視頻，AI自動(dòng)檢測視頻中的人物，并替換成3D卡通角色模型，生成有趣的AI視頻。

• Motionshop官網(wǎng)網(wǎng)址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
• Motionshop項(xiàng)目主頁：https://aigc3d.github.io/motionshop/

Motionshop是阿里巴巴智能計(jì)算研究院推出的一個(gè)AI角色動(dòng)畫框架，旨在將視頻中的人物角色替換為3D化身，同時(shí)保持視頻中的其他場景和人物不變。該框架由視頻處理流水線和姿態(tài)估計(jì)與渲染流水線兩部分組成，前者負(fù)責(zé)提取并修復(fù)背景視頻序列，后者則用于生成3D角色視頻序列。

Motionshop利用先進(jìn)的視頻處理、角色跟蹤/分割、姿態(tài)估計(jì)、路徑追蹤渲染等多種技術(shù)，使得動(dòng)態(tài)視頻中的主角可以被替換成3D化身。用戶只需上傳視頻并確定目標(biāo)對象，選擇要替換的虛擬角色，系統(tǒng)會(huì)自動(dòng)識(shí)別并替換成3D卡通角色模型，生成獨(dú)特的AI視頻。

此外，Motionshop還支持零樣本目標(biāo)檢測，通過將文本信息與現(xiàn)有的閉集檢測器使用基于Transformer的框架進(jìn)行緊密融合，實(shí)現(xiàn)高效的視頻人物檢測和選擇。這一技術(shù)不僅開啟了創(chuàng)意表達(dá)和娛樂的全新方式，也為視頻特效制作增添了更多可能性。