想從大數據中淘金?顧好 Big Data 系統的關鍵四層面就對了

整個大數據的概念就是發展一個能讓資料從最初生成的原始數據、到最後成為有價值的分析結果或趨勢預測的系統。而這個「大數據系統」基本上可以被分成四個層面來探討:資料來源、資料儲存、資料處理及分析、資料輸出。
評論
評論

本文由 Yahoo 奇摩贊助。

對於 Big Data 的這個 Big Idea,還是許多人抱有疑問,究竟大數據是什麼?大數據的哪些部分是嶄新的概念而哪些是舊科技新包裝?

整個大數據的概念就是發展一個能讓資料從最初生成的原始數據、到最後成為有價值的分析結果或趨勢預測的系統。而這個「大數據系統」基本上可以被分成四個層面來探討:

第 1 層:資料來源 Data sources layer

這個部分是關於資料如何到達你的手中,可能是從你的銷售紀錄、客戶資料庫、產品回饋、社群網路管道、甚至 Email 郵件,也就是和你的「目標」相關、來自四面八方收集來的各式各樣的數據。

這個層面最重要的就是評估你現有的各方資料,對於你想達成的目標、想知道的寶貴資訊,你手上的資料是否足夠、是否全面?

如果資料有缺口,就必須去建立新的資料來源來補足;如果你很滿意現有的資料來源,那就進入第二層吧!

第 2 層:資料儲存 Data storage layer

建立了多元、全面的資料來源後,可以想像資料會排山倒海般地向你湧來,而能否成功並完整的儲存龐大的資料量將成為大數據存活的關鍵。

現今許多技術跟工具被發展來應付這個需求,像是之前介紹過的 HDFS —— Hadoop 分散式檔案系統(請參考 《認識大數據的黃色小象幫手 –– Hadoop》),以及相應的資料庫(Database)。例如專門用在 Hadoop 上的資料庫系統 HBase,其他最廣為人知的資料庫像是 Amazon 的 DynamoDB、MangoDB、Cassandra(請參考 《學大數據不卡關:精選 Big Data 相關用語》)等 NoSQL 資料庫軟體。

第 3 層:資料處理及分析 Data processing/analysis layer

原始資料儲存之後,下一步則是得想辦法從龐大看似無章法的資料中挖出有價值的資訊。

資料處理及分析最常用的方法是 MapReduce 平行運算架構(同樣請見 《認識大數據的黃色小象幫手 –– Hadoop》)來分散處理大量結構化和非結構化資料,主要是選擇資料中想分析的元素,並且將其整合成既定的格式。

如果你所在的公司或機構擁有自己的資料分析團隊,資料分析處理這一層會利用 Apache PIG 以及 HIVE 等工具來進行轉換以及簡化複雜的查詢操作。

圖片來源:Big Data Trendz

第 4 層:資料輸出 Data output layer

大數據系統的最後這一層就是我們將拿來利用的精華部分了,根據目的,資料分析的結果可以被輸出成各種形式以達到最完美的表現,可以是表格、圓餅圖、趨勢圖、關鍵資訊等等。

最終,大數據系統的主要任務就是運用你現有的資料輸出結果,在現階段至少在一項 KPI(關鍵績效指標,Key Performance Indicator)中得到改善。如果你建立了這四層次的系統,並且進一步提升績效,那恭喜你,你已經在利用大數據邁向目標了!


台灣創新技術博覽會登場!資策會展 AIoT 技術 帶動產業轉型升級

「窄頻物聯網 NB-IoT 全功能自主平台」即日起至 10 月 23 日在台灣創新技術博覽會線上展出,一睹資策會智慧系統研究所團隊最新的 5G 創新能量。
評論
Photo Credit:資策會
評論

疫情加速數位服務發展,由經濟部、科技部等十大部會共同主辦的 2021 年台灣創新技術博覽會(TIE)首度舉辦線上展覽,致力發展台灣資通訊的財團法人資訊工業策進會(資策會)此次展出「窄頻物聯網 NB-IoT 全功能自主平台」,具備低成本與快速部署優勢,提供網路基礎建設之佈建便捷性。

近年台灣重視 5G 發展,除了一般民眾認知的網路品質提升外,也著眼於基礎建設、技術實證及產業轉型,而經濟部技術處為讓國內迸發更多創新能量,透過多元的補助形式,支持資策會智慧系統研究所(系統所)團隊研發 5G 前導技術「窄頻物聯網 NB-IoT 全功能自主平台」,有助於改善物聯網訊號覆蓋不足的問題,同時利於發展專網應用,亦可作為 5G 衛星物聯網基地台使用,無論是郊區、海洋還是沙漠,創造不受地域限制的物聯網應用。

「窄頻物聯網 NB-IoT 全功能自主平台」即日起至 10 月 23 日在台灣創新技術博覽會線上展出,現場也規劃了「發明競賽區」及「三大主題館」、網紅開箱直播等活動,有興趣的民眾也可至台灣創新技術博覽會官網查詢。

圖說/資策會「窄頻物聯網 NB-IoT全功能自主平台」基站設備線上展區示意圖。Photo Credit:資策會