Diffutoon 是一種由阿里巴巴達(dá)摩院與華東師范大學(xué)聯(lián)合研發(fā)的先進(jìn)動漫風(fēng)格渲染技術(shù)，旨在將真實(shí)視頻轉(zhuǎn)換為逼真的動漫風(fēng)格。該技術(shù)基于擴(kuò)散模型（Diffusion Model），通過學(xué)習(xí)大量圖片數(shù)據(jù)生成新的圖像和視頻，從而實(shí)現(xiàn)高分辨率、高一致性和可編輯的卡通著色效果。

Diffutoon官網(wǎng)入口網(wǎng)址：https://ecnu-cilab.github.io/DiffutoonProjectPage/

Diffutoon開源項(xiàng)目地址：https://github.com/modelscope/DiffSynth-Studio

Diffutoon 的核心優(yōu)勢在于其能夠處理高分辨率和快速運(yùn)動的視頻，同時保持內(nèi)容的一致性和視覺吸引力。其技術(shù)流程包括風(fēng)格化、一致性增強(qiáng)、結(jié)構(gòu)指導(dǎo)和著色四個關(guān)鍵子問題的解決。通過多模塊去噪模型、控制網(wǎng)絡(luò)、動畫滑動擴(kuò)散、快速注意力機(jī)制等技術(shù)手段，Diffutoon 能夠生成高質(zhì)量的動漫風(fēng)格視頻。

Diffutoon 的主要功能包括：

• 高分辨率輸出：支持高達(dá) 1536 x 1536 的分辨率，適用于高分辨率和快速運(yùn)動的視頻。
• 內(nèi)容一致性：通過控制網(wǎng)絡(luò)和動畫滑動擴(kuò)散技術(shù)，確保視頻幀間的一致性和連貫性。
• 智能編輯：用戶可以通過編輯分支根據(jù)提示生成彩色視頻信號，實(shí)現(xiàn)個性化內(nèi)容創(chuàng)作。
• 自動著色：根據(jù)視頻內(nèi)容和風(fēng)格要求自動選擇合適的顏色填充，確保顏色協(xié)調(diào)性和視覺吸引力。
• 超分辨率與上色：即使輸入視頻分辨率較低，也能生成高質(zhì)量的動漫風(fēng)格視頻。

Diffutoon 的應(yīng)用場景廣泛，包括動畫制作、視頻游戲開發(fā)、電影后期制作、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、社交媒體內(nèi)容創(chuàng)作、廣告和營銷、教育和培訓(xùn)等領(lǐng)域。此外，Diffutoon 的代碼和模型已開源，用戶可以通過 GitHub 平臺訪問并體驗(yàn)其功能。

Diffutoon 是一項(xiàng)革命性的視頻轉(zhuǎn)繪技術(shù)，為創(chuàng)作者提供了強(qiáng)大的工具，使他們能夠輕松將真實(shí)視頻轉(zhuǎn)化為具有動漫風(fēng)格的高質(zhì)量作品。其開源特性進(jìn)一步推動了技術(shù)的普及和發(fā)展，為數(shù)字創(chuàng)意領(lǐng)域帶來了無限可能。