近日

在深蘭科技的官方抖音上

發(fā)布了這樣一個(gè)視頻

這是利用人工智能技術(shù)，將電影《魔獸》中的片段轉(zhuǎn)成了動(dòng)漫的畫(huà)面。本就科幻的劇情，在動(dòng)漫場(chǎng)景下，不禁讓人重回游戲，再次走入兩個(gè)世界的種族為了各自的生存和家園奮起而戰(zhàn)的故事……

深蘭科學(xué)院的算法專家借助計(jì)算機(jī)視覺(jué)技術(shù)，基于機(jī)器學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)（GAN），對(duì)圖像進(jìn)行了風(fēng)格遷移處理，可將真實(shí)世界的圖像直接轉(zhuǎn)換為高品質(zhì)動(dòng)漫風(fēng)格。由此，畫(huà)師便可將節(jié)省下來(lái)的大量時(shí)間，用于更多富有創(chuàng)造性的工作，從而產(chǎn)生更大的價(jià)值。而經(jīng)典老電影，也可以利用去燥、上色、轉(zhuǎn)動(dòng)畫(huà)等一系列人工智能方法進(jìn)行處理，來(lái)一次二次元的穿越，滿足人們?cè)絹?lái)越多元化的視覺(jué)需求。

真實(shí)場(chǎng)景轉(zhuǎn)動(dòng)畫(huà)

1．技術(shù)背景

 漫畫(huà)是在日常生活中我們能夠廣泛接觸到的一種藝術(shù)形式。除了藝術(shù)本身之外，它的適用范圍從出版媒體到兒童教育，和其他藝術(shù)形式一樣，很多著名的漫畫(huà)形象都是基于現(xiàn)實(shí)世界的場(chǎng)景創(chuàng)作的。圖1－1展示了真實(shí)照片轉(zhuǎn)換成漫畫(huà)的效果。

圖1－1人物變卡通

為什么要把真實(shí)場(chǎng)景轉(zhuǎn)換成卡通呢？在現(xiàn)實(shí)工作中，使用卡通風(fēng)格手繪重現(xiàn)現(xiàn)實(shí)世界的場(chǎng)景是一個(gè)費(fèi)時(shí)費(fèi)力的工作，而且需要很多專業(yè)的繪畫(huà)技能。為了獲得高質(zhì)量的畫(huà)面，原畫(huà)作者必須仔細(xì)繪制每個(gè)線條，并對(duì)目標(biāo)場(chǎng)景的每種顏色區(qū)域進(jìn)行涂色。

目前看來(lái)，具有標(biāo)準(zhǔn)特征的現(xiàn)有藝術(shù)編輯軟件和算法無(wú)法產(chǎn)生令人滿意的漫畫(huà)效果。因此，如果有專業(yè)技術(shù)能夠自動(dòng)將真實(shí)世界的照片轉(zhuǎn)換為高品質(zhì)的動(dòng)漫風(fēng)格畫(huà)面，對(duì)于畫(huà)師來(lái)說(shuō)是非常有幫助的一件事：這可以為他們節(jié)省大量時(shí)間，讓他們專注于更有意義和創(chuàng)造性的工作。

以藝術(shù)方式對(duì)圖片進(jìn)行處理的研究一直是計(jì)算機(jī)視覺(jué)的熱門(mén)方向。此前的傳統(tǒng)方式通常針對(duì)特定樣式開(kāi)發(fā)特定的算法。然而，這意味著需要做出大量技術(shù)上的努力才能做出模仿個(gè)人藝術(shù)家的細(xì)致風(fēng)格。而基于機(jī)器學(xué)習(xí)的風(fēng)格遷移方法，可以通過(guò)示例圖片對(duì)圖像進(jìn)行風(fēng)格化，已經(jīng)引起了很多人的關(guān)注。特別是生成對(duì)抗網(wǎng)絡(luò)（GAN）引入了循環(huán)方式訓(xùn)練，進(jìn)一步探索并提高了風(fēng)格遷移的質(zhì)量，GAN的獨(dú)特之處在于可以使用不成對(duì)照片和風(fēng)格化圖像進(jìn)行訓(xùn)練。

盡管基于學(xué)習(xí)的風(fēng)格遷移已經(jīng)有了很多成果，但最好的風(fēng)格遷移方法仍無(wú)法生產(chǎn)具有可接受質(zhì)量的漫畫(huà)風(fēng)格圖像。

究其原因：

首先，漫畫(huà)風(fēng)不是添加紋理和邊界線，而是需要從現(xiàn)實(shí)世界圖像的復(fù)雜構(gòu)造中高度簡(jiǎn)化；

其次，盡管藝術(shù)家之間風(fēng)格各異，但卡通圖像具有一些明顯共通之處：邊緣清晰、顏色遮罩平滑、質(zhì)地相對(duì)簡(jiǎn)單——這與其他形式的藝術(shù)作品截然不同。

這次我們要介紹的技術(shù)是清華大學(xué)提出CartoonGAN，一個(gè)基于GAN的全新照片漫畫(huà)化方法。該方法需要一組照片和一組漫畫(huà)圖像進(jìn)行訓(xùn)練。為了讓訓(xùn)練數(shù)據(jù)易于獲得，同時(shí)獲得高質(zhì)量的結(jié)果，我們不需要讓兩組圖像互相配對(duì)或?qū)��?yīng)。從計(jì)算機(jī)視覺(jué)算法的角度來(lái)看，漫畫(huà)風(fēng)格化的目標(biāo)是將照片流型映射到漫畫(huà)流型中，同時(shí)確保其中的內(nèi)容不變。

2．技術(shù)細(xì)節(jié)

2．1 網(wǎng)絡(luò)結(jié)構(gòu)

CartoonGAN作者提出了一個(gè)專用的GAN網(wǎng)絡(luò)架構(gòu)，包括生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，都比較直觀基礎(chǔ)，如圖2－1所示：

圖2－1CartoonGAN的生成器（上）／判別器（下）的網(wǎng)絡(luò)結(jié)構(gòu)

生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)G用于將輸入圖像映射到漫畫(huà)流型中。在模型經(jīng)過(guò)訓(xùn)練后，漫畫(huà)風(fēng)格化任務(wù)就可以執(zhí)行了。如圖2－1所示，G從平卷積階段開(kāi)始，隨后是兩個(gè)下采樣卷積模塊，以對(duì)圖像進(jìn)行空間壓縮和編碼。隨后使用相同布局的八個(gè)殘差區(qū)塊來(lái)構(gòu)建內(nèi)容和流形特征。最后，通過(guò)兩個(gè)上卷積模塊重構(gòu)輸出的漫畫(huà)風(fēng)格圖像。

判別器網(wǎng)絡(luò)

為了與生成器網(wǎng)絡(luò)形成互補(bǔ)，判別器網(wǎng)絡(luò)D用于判斷輸入圖像是否是「真實(shí)的」漫畫(huà)圖。由于判斷圖像是否為漫畫(huà)是個(gè)要求不高的任務(wù)，因此使用D中參數(shù)較少的簡(jiǎn)單判別器。與圖像分類任務(wù)不同，漫畫(huà)風(fēng)格鑒別任務(wù)依賴于圖像的局部特征，所以判別器網(wǎng)絡(luò)D被設(shè)計(jì)得較淺。如圖2－1所示，在平層之后，網(wǎng)絡(luò)采用兩個(gè)步長(zhǎng)的卷積塊來(lái)降低分辨率并編碼用于分類的基本局部特征。隨后，使用特征構(gòu)造塊和3×3卷積層來(lái)獲得分類返回。