AI 自動填空白!NVIDIA 人工智慧能辨認「消失的畫面」並修補照片

評論
評論
Photo credit: NVIDIA 示範影片截圖

AI 修圖現在已算普及,像是 Adobe 最近展示過 AI 填補功能,以及 Google 旗下 Snapseed 修圖 app 的去除雜點功能,都是利用 AI 參考周圍圖像來填滿目標區域。但要無中生有,那就辦不到了。因此若碰到某些老舊檔案中毀損的部分,也許人類一看就能猜到少了什麼,但 AI 卻無法從周遭畫素推測出來。

現在 NVIDIA 開發了一套深度學習系統,可以判斷空白或是毀損的部位應該要有哪些畫面,比如人像眼睛部分完全消失,也能用替代的眼睛影像補回來。

過去的 AI 填空有些缺點,如必須是規則的矩形空缺,對於畫面中央的空缺較敏銳,或者對不同尺寸的畫面缺失無法很好地套用。而這次 NVIDIA 則提到「部分卷積」方法,可以應用於任何形狀、尺寸或位置的空洞。

NVIDIA 設備採用 NVIDIA Tesla V100 GPUs,並生成 55116 種破洞型態來訓練 AI 重建照片,輸入覆蓋挖洞遮罩的各大圖庫圖片到 cuDNN 加速的 PyTorch 深度學習框架中。但這套系統並非萬能,像是示範影片中的眼睛看來就像是別人身上借來的,或者破洞大到難以辨認圖像,就無法發揮效果。

儘管如此,這套系統還是相當有用,也許看來無望復原的照片,可以藉 AI 之力產出大概的樣貌,人類只要加以潤飾細節即可,甚至研究人員還期望能以此技術為基底來提升影像畫素而不失真。

延伸閱讀:

 

評論