動漫插畫風格圖像生成研究

　　摘要把人像或景物等真實世界中的圖片直接變換為動漫或插畫風格圖像是一件非常有趣且具有實際應用需求的任務，自該概念提出后就在計算機視覺領域引起了廣泛的研究興趣。當前在該任務的研究中主要通過生成對抗學習模型對圖像進行風格遷移來實現。但是現有方法在圖像風格遷移時難以同時傳輸風格與內容。本文針對該問題設計了新的生成器網絡，在同時遷移風格與內容時做到了比較好的平衡。在將設計的生成對抗模型應用到圖像風格轉換任務上時，能夠根據目標藝術風格生成對應的動漫插畫效果。這些生成的插畫圖像不僅擁有非常好的視覺質量，而且原有的圖像內容也能被很好地保留。

　　關鍵詞深度學習;圖像風格遷移;圖像生成;生成對抗網絡

　　1引言

　　使用計算機生成具有動漫插畫藝術風格的圖像是一件非常有趣的任務。當前對該任務的研究主要通過圖像風格遷移來實現[1]。圖像風格遷移指的是使用計算機對圖像中的內容進行風格化處理，使其在原有內容能夠被辨識的情況下呈現特定的藝術風格，是近年來計算機視覺中一個新的研究方向。由于風格遷移技術能夠讓計算機“自主”地進行藝術創作，因此自該概念提出以來，便立即引起了人們的廣泛關注。

　　當前在對圖像風格遷移的研究中，基本上采用深度卷積神經網絡(ConvolutionalNeuralNetworks,CNN)或生成對抗網絡(GenerativeAdversarialNetworks,GAN)學習模型[2]。這些模型能夠將某一藝術風格添加到目標圖像上，從而使其具有藝術化的屬性。在圖像風格遷移中，首先使用CNN或GAN從指定的風格圖像中學習風格模式，再應用到目標圖像上后就可以把它們轉換為油畫、卡通動漫、中國山水畫等不同的藝術圖像[1-4]，或者是在圖像上實現季節和紋理的變換[5-6]。

　　由于GAN模型在訓練中存在不穩定與難以優化的問題，當前許多風格遷移工作從損失函數的角度對其加以改進。在這些改進的模型中，DualGAN和CycleGAN等都能夠比較好地完成圖像風格遷移工作[7-8]。但是這些GAN模型在風格遷移時只能對風格或內容二者之一進行遷移。本文通過對其中的生成器結構進行改進，使得模型在對風格與內容同時遷移時做到比較好的平衡。改進后的模型被進一步應用到自然圖像到動漫插畫的風格變換中。實驗結果表明，該模型能夠在保留原自然場景內容的同時，擁用非常優秀的動漫插畫風格效果。

　　2生成對抗網絡

　　生成對抗網絡GAN也是一種生成模型，但是它不需要顯式地表達樣本的概率分布，而是采用對抗學習的思想，通過生成器與判別器之間的零和博弈隱式地學習到數據的內在分布。當生成器與判別器達到納什平衡狀態后，由生成器生成的數據就能夠擁有和真實數據相同的內在屬性，這樣就可以利用生成器來獲得以假亂真的數據。GAN模型由生成器

　　生成器

　　當使用GAN模型生成圖像數據時，需要為生成器

　　因此，在整個訓練過程中，生成器

　　3動漫插畫風格遷移模型

　　與一般的GAN模型相同，本文設計的動漫插畫風格遷移模型也由生成器與判別器構成，通過兩者對抗學習來獲得數據的內在分布。為了能夠在動漫插畫風格遷移中比較好地保留圖像原始內容，同時實現藝術風格的遷移，該生成器結構以ResNet-18作為基礎模型，將圖像的生成分為降采樣與上采樣兩個部分。

　　4實驗

　　實驗采用了JunYanZhu等人的自然世界圖像數據作為訓練數據中的源域圖像[8]，采用SametHicsonmez等人的藝術圖像作為目標域[10]，源域與目標域的圖像數分別為5402與4890。作為源域的圖像主要是各種自然風光與景物圖像，而作為目標域的圖像來自于不同兒童插畫繪本中的圖像。它們由不同的藝術家所繪制，因此具有不同的藝術風格。

　　在訓練時，這些圖像都被統一縮放到了256×256的像素大小。本文圖像風格遷移并不需要為目標圖像與源圖像配對，只需要從源域與目標域中隨機選擇圖像進行配對訓練即可。實驗在Ubuntu18.04環境下，采用了PyTorch深度學習框架進行，并使用NVIDIA-1080GPU與CUDA10進行加速。實驗使用了學習率為0.002的SGD優化器對模型作為200個epoch的優化，再將其用于動漫插畫風格圖像的生成測試。

　　分別為使用CycleGAN、DualGAN與本文模型生成插畫風格圖像。可以看到，這幾種模型都能夠實現動漫插畫風格的遷移，生成的圖像都在源圖像內容可辨識的情況下添加上了目標藝術風格。但是CycleGAN生成的圖像中會混入一些其他內容，給原始的圖像內容帶來了破壞;DualGAN雖然比較好地保留了源圖像的內容，但是在圖像風格上差強人意。與它們相比，本文模型生成的動漫插畫中不僅原始內容得到了很好地保留，而且藝術風格明顯，圖像的整體視覺質量最為優秀。

　　5結論

　　本文對基于對抗生成網絡的動漫插畫風格遷移進行了研究。為了能夠同時對圖像風格與內容進行遷移，設計了新的生成器網絡。在使用自然世界圖像作為源域數據、藝術插畫圖像作為目標域數據進行訓練后，本文方法能夠生成具有優秀視覺質量的動漫插畫圖像。與CycleGAN和DualGAN等模型生成的圖像相比，本文方法在圖像風格與原有圖像內容上達到了比較好的平衡。

　　參考文獻

　　[1]YongchengJing,YezhouYang,ZunleiFeng,etal.NeuralStyleTransfer:AReview.IEEETransactionsonVisualizationandComputerGraphics.2019,26(11):33653385

　　[2]GoodfellowIan,PougetAbadieJean,MirzaMehdi,etal.GenerativeAdversarialNets//Advancesinneuralinformationprocessingsystems,2014:26722680

　　[3]XunHuang,MingYuLiu,SergeBelongie,etal.Multimodalunsupervisedimagetoimagetranslation//ProceedingsoftheEuropeanConferenceonComputerVision.IEEE,2018:172189

　　[4]JiachuanSheng,CaifengSong,JunWang,etal.ConvolutionalNeuralNetworkStyleTransferTowardsChinesePaintings.IEEEAccess,2019(7):163719163728

　　[5]FujunLuan,SylvainParis,EliShechtman,etal.DeepPhotoStyleTransfer//ProceedingsoftheIEEEInternationalConferenceonComputerVision.IEEE,2017:49904998

　　作者：董虎勝劉誠志朱晶徐蘇安

轉載請注明來自發表學術論文網：http://www.zpfmc.com/wslw/28540.html