企業概況

您所在位置:首頁 > 企業概況 > 正文

數據驅動方法利用深度學習AI進行照片到漫畫的翻譯

文章作者:www.utbltn.icu發布時間:2020-01-20瀏覽次數:629

漫畫肖像是一種獨特的藝術形式。藝術家以夸張的方式概述了一個人的臉,大部分時間都是為了引發幽默。自動化這項技術帶來了挑戰,因為涉及的復雜細節和形狀的數量以及將藝術家從現實生活中的自我轉變為創造性夸大的人的專業水平。

來自香港城市大學和微軟的計算機科學家團隊開發了一種創新的基于深度學習的方法,可以自動為給定的肖像生成漫畫,并使用戶能夠高效,逼真地完成這項工作。

“與定義手工制作規則的傳統圖形方法相比,我們的新方法使用大數據和機器學習來綜合成千上萬的專業藝術家繪制的漫畫實例,”研究生的第一作者Kaidi Cao說。斯坦福大學主修計算機科學,但在微軟實習期間。 “雖然現有的風格轉移方式主要集中在外觀風格上,但我們的技術實現了漫畫中涉及的幾何夸張和外觀風格。”這種方法使用戶能夠自動化肖像漫畫,并可應用于社交互動,如媒體創建漫畫的化身和設計卡通人物的任務。該技術在營銷方面也有潛在的應用,

Cao與香港城市大學的Jing Liao和微軟的Lu Yuan合作。這三名男子計劃于12月4日至12月7日在東京的SIGGRAPH Asia 2018展示他們的作品。年度會議展示了最受尊敬的計算機圖形和交互技術的技術和創意成員,并展示了科學,藝術,游戲和動畫領域的前沿研究。

在這項工作中,研究人員轉向了一種眾所周知的機器學習技術 - 為不成對的照片生成一個對抗網絡(GAN),以及漫畫翻譯,以生成保留肖像身份的漫畫。被稱為“CariGANs”的計算框架通過研究人員CariGeoGAN和CariStyGAN標記的兩種算法精確地模擬照片中的幾何夸張(面部形狀,特定角度)和外觀樣式(外觀,感覺,鉛筆筆劃,陰影)。

CariGeoGAN僅模擬從面部照片到漫畫的幾何到幾何映射,CariStyGAN將樣式外觀從漫畫傳遞到面部照片,而不會使原始圖像的幾何形狀失真。研究人員指出,這兩個網絡是針對每項任務分別培訓的,因此學習過程更加強大。 CariGANs框架允許用戶通過拖動幻燈片或提供示例漫畫來控制幾何和樣式的夸大。

曹和合作者進行了感性研究,以評估他們的框架,以制作易于識別的肖像漫畫,并且在形狀和外觀上不會過度扭曲。例如,一項研究評估了與現有漫畫藝術翻譯方法相比,使用CariGAN方法保存的圖像的身份。他們通過幾個例子證明現有方法導致無法識別的漫畫翻譯。研究參與者發現很難將最終的漫畫與原始主題相匹配,因為最終結果過于夸張或不清楚。研究人員的方法成功地創造了更清晰,更準確的肖像照片漫畫描繪,好像它們是由專業藝術家手繪的。

目前,這部作品的重點是角色的漫畫,主要是頭像或肖像。在未來的工作中,研究人員計劃探索除了面部漫畫之外產生的整個身體或更復雜的場景。他們還對設計改進的人機交互(HCI)系統感興趣,該系統為用戶提供更多自由和用戶控制的機器學習生成結果。

蓝海赚钱