來自伯克利大學和麻省理工學院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前給出了深度學習在另一個特定領域的研究進展,開發了一套可以通過深度學習自動學會幫黑白圖片上色的技術。從給出的示例來看,這項技術的準確性還是比較高的。說到
來自伯克利大學和麻省理工學院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前給出了深度學習在另一個特定領域的研究進展,開發了一套可以通過深度學習自動學會幫黑白圖片上色的技術。從給出的示例來看,這項技術的準確性還是比較高的。說到這些技術的應用,讓許多承載著回憶的老照片煥發新生是它能做的極好的貢獻之一。
值得注意的是,這個算法是在算法應用平臺Algorithmia上的,
石家莊網絡優化獲悉此平臺,它的主要作用就是讓算法的開發者將他們開發出來的算法托管在平臺上,而APP的開發者等需要算法的人就可以很方便的通過幾條簡單的指令就調用上面存儲著的算法,這樣就能達到一個研究成果**化利用的目的。
算法的原理
研究小組表示,他們給算法制定的目標——為隨意給出的黑白照片上色,很明顯條件過于寬泛,因此之前的類似算法要么需要用戶很多的干涉,要么生成的照片的顏色飽和度往往相當低。而他們通過將算法設定為一個分類任務并且在訓練時使用重分類方法來增加了圖像顏色的多樣性。他們為算法設計了一個類似于圖靈測試的“顏色圖靈測試”,用來評估算法的效果。讓受試者區分攝制了同樣物體的照片,哪張是真的哪張是程序生成顏色的結果。結果他們的方法成功騙過了20%的人,這個結果要顯著高于之前的方法。
基于深度學習的自動上色程序,以及其實際應用
上圖是這個算法的網絡結構,每個卷積層(conv layer)都代表著由2到3個重復的卷積和整流線性單元(ReLU)層組成的區塊,**是一個BatchNorm層。整個網絡沒有池化層。分辨率的變化是由卷積塊之間的空間縮減取樣或不取樣實現的。
研究團隊在他們的論文中介紹,在圖像本身的信息之外,該方法的靈感倒主要來源于它的語義學特征和其中物體的表面提供的線索,在實例中通常意味著圖像標簽(label)所含有的信息:如草一般都是綠的,天一般都是藍的等。雖然這個規律并不一定是通用的,但是事實上,要讓一幅圖變成漂亮的彩色,并不意味著它的著色一定要跟現實中的顏色一模一樣,很多時候只要顏色的相對關系看起來合理,就足夠騙過人類的眼睛了。
與傳統的實現方法不同,他們并不是利用著色問題的損失定制來實現算法的,之前提到過,其實顏色的預測結果有時并不需要同現實結果一模一樣,比如一件襯衫,表現出很多種顏色看起來其實都是合理的。他們的方法是在算法中對每一個像素點都預測了顏色可能的分布情況。并且在訓練中給不常出現的顏色更多的權重,以增加*終顏色的多樣性。*終以一種分布退火的方式得到**的顏色分布函數。得到的結果同以前的結果相比看起來會更加真實。
研究團隊展示了他們的算法在1000組來自ImageNet的圖像上的實驗效果,其中大部分都得到了比較好的效果。