「你的名字」電影濾鏡火爆的背後

「你的名字」濾鏡出自上海時光無線科技有限公司,在這款濾鏡火爆之前,他們的產品主要是時光相冊 App。媒體訪問到這家公司的負責人沈振宇,為大家解密這款濾鏡背後的故事。
評論
評論

本文獲合作媒體 雷鋒網 授權轉載。

《你的名字》最近在中國上映,不到 24 小時,票房突破 6000 萬人民幣,衝到了票房榜首。一同火爆的還有與電影同名的濾鏡。電影上映前一周,「你的名字」濾鏡 就先爆紅了起來,而這也是繼 Prisma 之後,又一款備受推崇的「人工智慧」濾鏡。與 Prisma 不同的是,「你的名字」濾鏡主打日系動漫風格。

4701a6774819a227f20f05204f1fc7bcaa38d909

「你的名字」濾鏡出自上海時光無線科技有限公司,在這款濾鏡火爆之前,他們的產品主要是時光相冊 App。媒體訪問到這家公司的負責人沈振宇,為大家解密這款濾鏡背後的故事。

時光相冊 App 主要為手機內的照片提供雲端存儲服務,並可以根據照片的主題,對照片進行智慧分類管理以及簡單的編輯處理。沈振宇說:「公司創立時主要就是想將人工智慧技術運用在圖片分類處理類 App 中,日活躍人數在百萬左右,公司 80% 左右的員工都是工程師,但「你的名字」濾鏡的火爆程度卻是始料未及的。」

構想之初,受到 Prisma 的啟發,時光相冊也想做一款可以把照片風格化處理的濾鏡,但沈振宇認為,油畫的風格並不符合中國絕大多數人的審美習慣,想嘗試一種大家都比較喜歡的風格,於是選擇了日系動漫。用了近兩個月的時間,嘗試了許多不同的算法,讓機器去學習新海誠動漫中作品中的紋理特徵,不斷的調教參數,最後達到了「你的名字」濾鏡現在的效果。用戶只需要上傳照片,選擇濾鏡,就可以得到一張充滿新海誠畫風的照片。

「你的名字」濾鏡的核心技術在於對圖片中天空的處理,可以讓任何一張照片中看起來平淡、或是沒有色彩的天空部分,成功貼合成為新海誠動漫中的效果。沈振宇介紹說,濾鏡會對圖片中的天際線進行智慧識別,然後將天空部分摳掉,換上電影裡的藍天白雲。「藍天白雲」的素材都是從新海誠電影的正版片源中截取的,且已獲得官方授權。

據沈振宇介紹,濾鏡取材的電影有《秒速五厘米》、《言葉之庭》以及《你的名字》,開始時選取了幾十張的天空素材,但發現一些素材的貼合效果並不是很好,最後挑選了 20 張左右的天空素材,作為最終濾鏡可以呈現的效果。

問起在處理技術上與 Prisma 是否有不同之處。時光相冊 App 的工程師表示, Prisma 將神經網路的演算法用作端到端的生成模型,直接修改圖片的像素顏色值或者輸出最終的像素顏色值,這樣可以生成一些與原照片差異較大,風格很奇特的圖片,但自然程度和美感可能會不夠好。而「你的名字」濾鏡對機器學習和神經網路的應用主要在於演算法參數的學習和圖像的分割,這些機器學習的預測輸出會作為圖像處理算法的輸入,而真正對圖像做直接處理的算法是受約束和可解釋的。另外,為了在用戶上傳的美感和質量不高的照片中營造整體的「新海誠氛圍」,濾鏡還使用了傳統圖像增強方法和基於圖像的渲染(IBR)方法對圖像進行預處理和後處理。

5841660c07789

與圖普科技一位研究圖像風格化算法工程師分析的相同。這位工程師說,「Prisma 的本質是放棄原圖的細節,保留結構資訊,然後將風格圖經常出現的模式與原圖合成。因此,僅用現有的深度學習方法暫時無法這樣對細節進行精挑細選的處理。所以時光相冊是採用了深度學習跟傳統電腦視覺的技術結合,先用深度學習做像素分割,再結合傳統電腦視覺的方法做濾鏡處理。」

濾鏡完成後,先上線了 H5 版本,計劃在小範圍內進行測試,用一周時間完成推廣以及在時光相冊 App 上線,但結果卻超預期。沈振宇說:「一夜過後,伺服器基本上癱瘓了,於是調用了上百台的 TPU 伺服器來支持後台運作,提前在時光相冊 App 上線。 每天都會新增 30 萬左右用戶。」

現在,時光相冊 App 仍在配合發行方進行相關的電影宣傳工作。App 中的濾鏡也還在不斷地更新中,上線了「星空」濾鏡、「古銅」濾鏡以及「花木」濾鏡。其中「星空」濾鏡延續了日系動漫風格,技術原理大致相同,但模型是「重新」訓練過的,天空素材與「你的名字」濾鏡也與不同,前景風格也不同。

而「古銅」濾鏡與「花木」濾鏡同屬於油畫風格。沈振宇說,這兩款濾鏡的處理技術與 Prisma 相同,但做了一些性能優化,提高了圖片渲染速度。新濾鏡的上線主要是為了避免用戶使用「你的名字」濾鏡過於單調的問題,後續也會接著嘗試新的繪畫風格。

對於新濾鏡以及時光相冊 App 今後的運營狀況,沈振宇並沒有更高的預期。顯然,沈振宇深諳「現象級應用」的宿命,也想極力想擺脫這種宿命。

INSIDE 編輯提醒:請留意 App 的資安問題,建議採用 Web 的服務。