AI 當前已從理論逐步到模型部署與應用階段,然而有研究機構指出,雖然許多產業進行無數的前導專案 (Pilot Program),但卻有 60% 的 AI 模型開發無法順利進入部署與應用。 40% 雖順利進入部署 AI 解決方案,但模型卻因疏於維護、監測與調校而逐漸失去準確性,到底出了甚麼事?
在企業營運中,許多預測分析流程仰賴 AI 模型的運作,而 AI 模型之所以能開發、部署與應用,背後是無數的 IT 與資料學團隊合作,包含資料串流的標準化與機器學習模型即時整合。為了能加速 AI 模型的開發與應用,一種新的趨勢——「AI 工業化」,成為當前最新作法,這套流程白話來說即是把 AI 產品化,然後用機器學習平台來生產這個「產品」。一如製造業產線上的自動化一樣,用一系列的步驟與協作,讓平台自動生成 AI 模型,再讓相關資料/IT 團隊進行後續作業,降低 AI 開發與維運成本,與解決分析軟體與程式語言不相同的問題。
AI 模型產品化流程。Photo Credit: Howie 提供
AI 工業化核心關鍵:MLOps 平台
MLOps 是資料科學家、ML 工程師、軟體開發人員以及其他 IT 部門的共同產出,用於機器學習模型生命週期。模型的訓練、測試分析、資料的預處理都可以在 MLOps 完成,你可以把他想成一個用來生產 AI 模型的協作平台,透過敏捷運作的方式降低企業的技術負債。用商業語言來說,MLOps 讓企業可以快速生產 AI 模型同時又可以兼顧模型品質,而速度與品質的兼備則是業者大規模部署 AI 的先決條件,大型科技業者如 Google、Facebook、Uber 與 IBM 皆相繼投入此應用。
打破砂鍋問到底的美國國家海洋暨大氣總署
美國國家海洋暨大氣總署 (NOAA) 肩負災害預警與大氣海洋研究的任務,由於需要預測分析大量氣象狀況,因此其資料來源也相當多元,包含網站、衛星、感測器、資料庫等。由於其資料應用強調即時性,過往各自開發模型與資料處理的流程速度過慢以至於跟不上需求,公司因此成立 AI 中心並與 Google 合作,並推出名為「AI2ES Vision」的 AI 策略,從衛星資料開始,逐步整合其他數據源與增強模型測試能力,透過將AI產品化的方式,更快從資料中抽絲剝繭,提供更精準的預測結果。
NOAA 仰賴大量衛星資料進行災害防治與預測。Photo Credit: Howie 提供
摩根史丹利——解除金融業常見的穀倉效應
歷經數年的探索,機器學習與AI在金融業的角色從中後台的風險控制、偵測防弊,逐漸往前台的業務應用發展,身為高度監管的產業,金融業在運用 AI 的速度限制也較其他產業多,國際投行摩根史丹利在六年的試誤中體會到工業化 AI 的競爭優勢。其財富管理部門的 AI 平台負責人 Shailesh Gavankar 認為模型除了要精確外還要能大量且快速的部署,以因應更快的金融市場變遷。由於投行金字塔型的組織架構與嚴謹的文化使得資料科學家的發會空間更為受限,因此公司成立內部沙盒機制 —— Anthem ecosystem,透過單一 API 的機器學習平台連結各種資料與人員,讓業務、AI 開發、部署與維運三大團隊,能透過一個標準化的流程來生產 AI,短時間內產生數千個金融模型,加速其金融服務推出速度。
模型風險控制成為工業化 AI 的守門員
即便許多的企業與機構相繼投入工業化 AI 的運用,快速開發與部署模型固然有規模效益與時間優勢,然而這些模型許多識因應即時需求 (如環境變動或消費者行為改變) 而產生,因此是否能在長時間中繼續使用仍是個謎;再者,若有數百個模型同時需要校正與修改也會是個巨大工程 (想想如果你一次寫出一千個方程式找出一千個最適解,但半天後因為要找另外一千個最適解,光修正跟找答案就要你半條命了)。因此模型風險控制 (Model Risk Management,MRM) 便成為工業化 AI 的馬其諾防線,MRM 根據 AI 團隊與利害關係人的需求,不斷檢視基礎架構、資料量、模型本身信度與效度,以及環境變化,徹底打破穀倉效應,使模型偏誤達到最小,大型顧問公司、科技業者與國際銀行越來越重視 MRM 的運用。
除此之外,另一個值得企業注意的科技資訊,就是由 Google 所推供的企業版雲端服務 G-Suite 宣佈更名為 Workspace,並將在今年 7/1 起改為收費服務,這也讓許多原本將 G-Suite 綁定公司網域的企業,需要被迫付費訂閱,或是得要尋求其他解決方案,並將原本雲端上龐大的資料進行搬遷。而 QNAP NAS 本身也能透過 Boxafe 應用替代 Google Workspace 或是微軟 Microsoft 365 雲端空間做資料備份,將原本公有雲端上的相關服務移轉至私有雲端的 NAS 上運行。
建置資料排程時,首先要選擇欲備份的來源資料夾。接下來要選擇備份的目的地空間,除了可選擇本地、遠端的 NAS 設備,也提供了數十種不同的公有遠端服務可以連結。接下來可進行備份的任務排程,包括一次性,或是定期進行份,像是每日、每週或是每月…等不同區間。接下來可設定備份的規則,像是是備份類型資料的篩選,以及是否要開啟 QuDedup 資料去重覆功能。建立備份任務後,可立即啟動資料備份。除了例行性的備份任務,HBS 3 也能建立不同 NAS 或雲端服務之間的「同步 - 協同作業」,包括雙向、單向與主動式三種同步方式。建立好的同步任務也可以在 HBS 3 中查詢。
而 QNAP NAS 也都能支援整機 Volume 與 LUN 的「快照(Snapshot)」功能,可將任一時間點的資料狀態記錄下來,而區塊層級的快照以記錄資料不同版本差異的方式,比傳統備份消耗更少的儲存空間,同時也能安排系統定時建立不同時間點的快照,以降低重要檔檔案的遺失風險,同時在資料災難發生的當下,就能選擇個別檔案、資料夾或是整個磁碟區快速回復,大幅降低系統停機所造成的損失。
透過儲存與快照總管工具,也可以在「快照」功能中查看到目前儲存池的保護狀態。此外,我們也可以透過儲存與快照總管建立額外的快照備份任務,讓我們的備份也能有「額外的備份」!透過「快照備份保險庫」也可以輕鬆查看管理已經完成備份的快照檔案。 QNAP TS-464 內建的 USB 埠也可以直接連結外接式儲存裝置並使用「快速複製」按鈕進行資料的快速備份,且支援速度更快的 USB 3.2 Gen2 規格,搭配對應的儲存裝置存取效能更高,以 4GB 大小的檔案複製來說,大約 70 秒左右即可完成。透過 HBS 3 的設定,可在外接儲存裝置連結時即啟動備份任務。
Qsync 自動同步多樣裝置
針對使用者生活中不同設備的資料備份需求,QNAP TS-464 中也可安裝「Qsync Central」這套工具,讓 NAS 搖身一變成為一般公有雲服務的檔案同步伺服器,無論用戶的設備是 Windows、macOS、Android 或是 iOS 裝置,都可以安裝對 Qsync 工具,設定「同步資料夾」,將指定檔案同步至 NAS 中,而且還能選擇「單向」或「雙向」同步方式,並具備版本控制功能,能將被覆蓋的檔案輕鬆回覆。
在 QNAP TS-464 中安裝 Qsync Central 後,即可讓 NAS 搖身一變成為支援多裝置資料同步的雲端主機,在總覽面板可以看到系統目前運行的狀態。 在不同系統的裝置端,可安裝 Qsync 同步工具,設定與 NAS 之間的連線,進行即時資料同步。安裝並啟動 Qsync 後,可透過設定頁面的指引,以區網 IP 或是 QID 的方式,來設定與 NAS 之間的連結。裝置端的 Qsync 連線完成後,在 NAS 中的 Qsync Central 中也可以看到設備連線同步的狀態。
在設備端的 Qsync 資料夾中已同步的資料,也可以直接透過「選取」並按滑鼠右鍵的方式,找到 Qsync 功能的 「分享連結」直接分享給其他人下載。已分享的檔案連結也都可以在 Qsync Central 中看到記錄,並進行連結的複製或刪除。在 Qsync Central 的「檔案異動中心」,也可以看到資料同步變更的記錄。在 Qsync Central 中也能看到目前已連結的設備與使用中的帳號。
Boxafe & QmailAgent 3.1 快速建立 G Suite 全資料備援機制
除了一般的檔案集中備份功能,QNAP TS-464 也能透過內建的 App Center 獲得更多不同的擴充功能,像許多中小企業使用的 Google Workspace 方案,就可以透過 QNAP 的 Boxafe 應用完整備份雲端上的資料,包括 Gmail、雲端硬碟、聯絡人與日曆的資料都能備份至 QNAP NAS 中,同時也能支援微軟的 Microsoft 365 服務,讓公有雲端資料轉向私有化管理、保存,將資料進行冷、熱分流,透過 TS-464 建立備援,常用熱資料則保存於雲端,讓應用更具彈性。同時也能集中備份管理多個雲端帳戶的資料,並設定自動排程備份,保留多版本資料,有效降低檔案遺失的風險!
Boxafe 是 QNAP 為 Google Workspace、Microsoft 365 等企業雲端服務所打造的資料備援工具。透過簡單的設定,Boxafe 可快速將 Google Workspace 或 Microsoft 365 各類服務
資料轉存至 QNAP NAS 中,以方便企業集中管理,未來若不想要續用付費雲端服務,也可以「無縫接軌」至私有雲端上繼續原有的服務架構。