騙過人類雙眼!Google 開源新 JPEG 編碼器,大小壓縮 35% 還讓你看不出來

一圖勝千言。新網路時代與過去冷冰冰的網際網路最大的區別就在於多了豐富的圖片。而網路上面最流行的靜態圖片格式非 JPEG 莫屬,但 JPEG 文件的多寡往往會影響頁面的載入速度。
評論
▲左為原圖,中為 libjpeg 的處理結果,右為 Guetzli,photo credit: Google Research。
評論

原文刊登於 合作媒體 36Kr,INSIDE 獲授權轉載。

一圖勝千言。新網路時代與過去冷冰冰的網際網路最大的區別就在於多了豐富的圖片。而網路上面最流行的靜態圖片格式非 JPEG 莫屬,但 JPEG 文件的多寡往往會影響頁面的載入速度。為此,Google 開發了一種新的 JPEG 演算法,可將文件大小減少 35%,這會確實提高網站的載入速度;此外,新演算法還可以在保持大小不變的情況下顯著改善圖片品質。更重要的是,Google 的這種 JPEG 格式跟 WebP、WebM 等圖像壓縮法不同,它可以完全與現有的瀏覽器、裝置、圖片編輯應用以及 JPEG 標準相容。而且,Google 還把它給開源出來了。

Google 的這個新的 JPEG 編碼器叫做 Guetzli,由 Google 研究院蘇黎世辦公室領導開發。Guetzli 在瑞士德語中是餅乾的意思,不過專案內容似乎跟餅乾並沒有太大的關聯,這也許是 Google 命名傳統的延伸,就像 Android 系統都是以糖果名稱來命名那樣。

一般而言,優化 JPEG 圖片品質與大小有好幾種手段,不過 Guetzli 聚焦的是量化階段的壓縮。簡而言之,量化就是把大量難以壓縮的無序數據縮減為易於壓縮的有序數據的過程。在 JPEG 的編碼中,這過程往往是通過將漸變的顏色簡化為色塊而把小的細節完全抹除掉。

不過這個過程的困難之處在於,要在抹除細節與縮小文件大小之間找到平衡。每一種有損編碼器(比如 libjpeg、x264、lame)的做法都不一樣。

而 Guetzli 的做法是利用一種新的視覺心裡模型(參考人類的視覺處理系統原理)來確定應該保留和丟棄哪些顏色和細節,它的名字叫做 Butteraugli。Butteraugli 的具體細節淹沒在一堆精密的常數之中,這些常數可以生成一個「近似於顏色感知和視覺」的模型,而且比其他的編碼器更加透徹和詳細。

至於 Google 研究院是如何發現這些常數就不得而知了。不過似乎是電腦生成的,或者至少是經過電腦優化的。之前 Google 曾經推出過一款可以 將有碼變成無碼的 AI 軟體 ,它可以利用兩種神經網路從已知的圖片中尋找與待補充細節匹配的新像素,並將添加進去。也許給神經網路提供夠豐富的圖像資料庫的話,AI 就能概括出這種視覺心裡模型。

▲編碼器對比:左為原圖,中為 libjpeg 的處理結果,右為 Guetzli,photo credit: Google Research。
▲編碼器對比:左為原圖,中為 libjpeg 的處理結果,右為 Guetzli,photo credit: Google Research。

雖然 Guetzli 的主要用途是減少文件大小,但 Google 研究院認為該編碼器也可以在保持大小不變的同時用來提高 JPEG 可感知的畫質。在與另一款流行的開源編碼器 libjpeg 進行比較時,Google 稱「75% 的人類評分偏好 Guetzli。這意味著 Butteraugli 的視覺心裡圖像相似度指標在高畫質方面接近於人類感官。」

不管是減少大小還是提高品質,Guetzli 的開源對於 JPEG 這款高度流行的圖片格式的作用都是深遠的。不過,Google 要實現這些效果也不是說沒有任何代價,跟 libjpeg 相比,其編碼需要的時間還是要多一些。

延伸閱讀:


開發者享受 CI/CD 價值!運用 Amazon EKS 整合 GitLab 創建自動化部署

企業如何在 Amazon EKS(Elastic Kubernetes Services)上使用 GitLab 創建自動化部署,減輕人力負擔,提升專案服務運作效率?
評論
評論

所謂現代化智慧 IT,所有工程師最希望的境界,莫過於只要輕鬆點幾下設定,系統就會自動跑起來,管理者再也不用隨時待命在機台旁邊,從此工作悠哉又快樂!儘管這樣情境還沒到來,但隨著敏捷式開發的流行,除了 DevOps 人員,有越來越多開發者將 CI/CD 概念融入到工作流程當中,例如從 build code、執行 unit test、到部署應用程式。

打造第一個在 AWS 上的應用程式

上述種種反覆步驟自動化執行,也就能提昇服務品質、主動通知開發人員以減輕人力負擔,讓專案服務能持續運作。

其中,GitLab 是執行 CI/CD 常用的工具之一,也是開發者使用程式碼儲存庫的地方。為了讓 GitLab Runner 在雲端快速實踐 CI/CD,《AWS 開發者系列》透過影片分享,如何在 Amazon EKS(Elastic Kubernetes Services)上使用 GitLab 創建自動化部署。

以下節錄工作坊影音內容,幫助開發者快速理解如何運用 Amazon EKS 的高可用性且安全的叢集,將修補、部署節點、更新等關鍵任務,全部做到自動化設定。同時影片也會示範 Amazon EKS 搭配 GitLab 如何展開自動部署,幫助工程團隊實踐 CI/CD 價值。

Amazon EKS 對容器管理輕鬆簡單、維運省時省力

容器化服務越來越興盛,當容器(Container)越來越多,在複雜的微服務(Microservice)系統環境之下,運維團隊的管理成本可能相對會增加不少,為了有效調度容器部署, 導入Kubernetes 無疑是近年企業熱門的話題之一。

建構 Kubernetes Cluster 流主要可區分兩大塊,一是安排容器調度的Control Plane、另一則是容器運行時需要用到的 Worker Node。

Control Plane 裡面涵蓋有儲存狀態的 ETCD、CoController manager 、Scheduler 的調度管理、甚至是操作時進行互動的 APIServer,若是自己創建 的 Kubernetes Cluster ,需要自己安裝這些元件,後續仍需要對 Control Plane 進行相關管理、維護、升級工作。為了減少上述 Components 的繁複維護,在透過 AWS EKS 代管的 Kubernete Control Plane 部可以獲得以下三大好處。

透過 AWS 增加雲端技能 在組織發揮影響力

Amazon EKS 一鍵式部署,展現三大優勢

第一,Amazon EKS代管的 Control Plane實踐了跨AZ的高可用部署,使用者不需要擔心單一節點故障的風險。

第二,Amazon EKS 支持至少四個 Kubernetes版本,持續跟進每季 CNCF 的發佈,同時 EKS 也完全符合上游 CNCF 規範。

第三,部署 Amazon EKS 之後,可直接使用 AWS 平台上現成的服務工具,在安全性管理、網路設定方面,可以做到無縫整合。

最後 AWS 台灣解決方案架構師也提到,若想在容器環境進行 CI/CD 及應用程式的管理,可以進一步透過 IaC 整合部署 Amazon EKS 叢集,透過使用 Console、把 EKS 變成 Cloudformation 的模板、使用 AWS 所開發出來的 eksctl.io、或指令是採用 AWS CDK 可以讓開發者用自身熟悉的語言,在 AWS 平台整合 CI/CD 工具進行維運及部署 EKS。

了解 Amazon EKS 整合 GitLab ,獲得三面向價值

對開發者而言,想把 Amazon EKS 整合到 CI/CD 工具之一的 GitLab 平台上,可以看到那些實際的優勢?

在 DevOps 開發者示範工作坊當中,GitLab 資深解決方案架構師指出,GitLab 使用到 Kubernetes 技術,主要有三種搭配方法,包含 GitLab Server、GitLab Runner、以及創建 Deployment Environment。

本次示範教學會主要聚焦在 GitLab Runner 如何採取 Auto-scaled 方式進行 Build、Test、Package Apps;以及在 Deployment Environment 運用 Kubernetes 技術,做到 Auto Deploy、Review App。

正因為 Amazon EKS 能夠在 DevOps 過程提供所需要的彈性計算資源,幫助開發者在 GitLab 平台上面獲得以下三個層次的優勢:

  • 在 GitLab 內建的部署工作流程當中,自動生成整套 CI/CD 最佳實踐腳本。
  • Review App 過程,從 Merge Request 中可直接訪問應用程式 /App 的 UI 介面,並且根據 Git branch 名稱、專案名稱,自動生成 Review App 的 URL,以及在 Merge 前的最後防線進行 Approval 檢查。
  • 加速 CI/CD 流水線,GitLab Runner 運行時候還可藉由 Amazon EKS Cluster 進行 Auto-scaled 的支援。

Amazon EKS 整合 GitLab ,需要兩大流程

影片最後,GitLab 資深解決方案架構師示範如何把 Amazon EKS 整合至 GitLab 執行 Auto Deploy,主要可分為兩大區塊流程,第一部分聚焦在 Amazon EKS cluster 的設置,第二部分則執行 Auto Deploy 設置。

第一塊可拆分為四個階段,首先教學怎麼創建 EC2 節點的 EKS cluster,第二階段示範把 EKS Cluster 連接到開發者的 GitLab Instance、Group 或 Project,下一步則使用 Cluster Management Project Template 創建一個 Cluster Management Project,以及最後一階段透過 Cluster Management Project 自帶的 Helm Chart,安裝在 Cluster 所需要的內建 App。

第二塊執行 Auto Deploy 設置,針對需要部署的 App 創建一個 GitLab Project,接著再把 gitlab-ci.yml 添加到 Project,並從 Web IDE 選擇及導入 Auto Deploy 的 CI 模版,讓 GitLab 自動生成最佳實踐的整套流水線。

幫助開發者更了解 Amazon EKS 整合 GitLab 的 QA 系列

Q:使用 Amazon EKS 之後,如何更有效率或優化資源去配置 Worker Node 的機器數量,以及如何有效空管開發維運的成本?

A:Kubernetes 除了本身有 HPA(Horizontal Pod Autoscaling)可根據使用程度自動調整資源流量,另外也能延伸使用 AWS Auto Scaling 方案,針對可擴展資源去設定自動擴展管理。另外在成本管控,雖然 Amazon EKS 會收取額外管理費用,但可透過 AWS 平台的 Calculato r計算每個 EKS 的價格,你會發現自動化部署及管理的費用,相對工程師人力的成本更加便宜。

Q:越來越多客戶考慮把現有 Application 變成容器部署,大多是爲了加快部署的效率,那麼變成容器模式之後,對 CI/CD 的工作流程有什麽影響嗎?

A:運用容器技術最直接的效果,可以讓應用程式的環境更一致化,例如 testing 環節、stage production,讓容器避開一些差異問題。至於 CD 部分要 delivery 一些 usage 不太一樣的時候,容器會幫忙做配置,所以 CI/CD 對容器的效益是相輔相成的。

Q: 客戶在開發流程漸漸會把 Infrastructure 變成代碼或文檔,是不是可以把程式碼跟現有的應用程式的 CI/CD 流水線整合在一起,達到一套完整的 CI/CD 部署流程?

A:觀察目前市場作法,主要分成兩個階段去做整體部署。如果規模比較小的團隊,會把 Infrastructure 代碼跟 App 代碼分開,在管理上會比較靈活;如果企業規模比較大,會有另外一個 Infrastructure 團隊來控制部署事情,這種情况之下,APP 的項目會生成一個 APP package,主要做到 delivery 這個階段爲止。而 Infrastructure 的項目會指定把需要版本的文檔,部署到他們的 Kubernetes Cluster。

填寫表單 找到適合的快速上雲服務與工具!