要玩資料?先重視資料的可取得性——KKBOX 資料科學團隊經驗分享

上個月舉行的「2015 台灣科學愛好者年會」,KKBOX 資料科學團隊以「資料科學在數位音樂的實踐與分析」為題,向與會人士分享了這家以家跨出台灣的本土串流音樂服務,建立資料科學團隊的相關經驗與成果,本文將著重於 KKBOX 研究中心經理林佑璟建立資料科學團隊的經驗。
評論
評論

上個月舉行的「2015 台灣科學愛好者年會」,KKBOX 資料科學團隊以「資料科學在數位音樂的實踐與分析」為題,向與會人士分享了這家以家跨出台灣的本土串流音樂服務,建立資料科學團隊的相關經驗與成果,本文將著重於 KKBOX 研究中心經理林佑璟建立資料科學團隊的經驗。

來自國內業界的研究不多

林佑璟表示,過去在學習音樂檢索時,曾讀過許多論文,但國內外的研究有一項很大的差異:業界論文產出,來自亞洲業界的研究明顯比較少。因此,三年前他加入 KKBOX 成為第一位研究員,立志打造強大的資料團隊。

兩週後,資料呢?

不過,現實總是沒有想像中的美妙,林佑璟向資深工程師要資料,對方叫他開票(ticket),結果過了兩個禮拜後還是沒拿到任何資料。後來,他發現:

  1. 資料在哪個部門?得先找到對的人。
  2. 資料散落在各個機器裡,要先找出資料。
  3. 資料的格式和欄位,有些都是十年前的產物,現在可能沒人知道那些欄位代表什麼意思了。
  4. 經常需要向其他部門解釋為何他需要資料。

運用資料科學做研究,卻遭遇跨部門的問題,KKBOX 並不是一個,行政院副院長張善政曾在七月的一次談話中指出:

跨部會問題也是在做大數據分析時的障礙。以前面提過的民間企業薪資分析為例,他建議財政部整合勞動部的勞保資料,得到的回應竟然是「不想,因為很麻煩。」然而光是依靠所得稅資料來看的結果,就是怎麼做都做不出來。「做大數據分析,要勇於跨出部會間的藩籬。」

相關文章:〈 張善政:大數據應立專法,但不是現在

面對部門之間對於資料運用理解上的差異,林佑璟表示:只能靠溝通。

從對方的角度出發

林佑璟提到,向其他部門索取資料遭遇阻礙時,不要覺得對方是要刻意刁難,而是要透過溝通,從對方的角度出發,讓對方明白取得資料進行分析後,可以為該部門、為公司帶來的價值是什麼。

除了用講的之外,製作原型讓其他部門的人知道資料的效用也是好方法。在索取資料的同時,一定要讓對方明白研究團隊會好好地保管、使用資料。

經過一番努力之後,林佑璟與團隊取得了如下的成果:

  • 統一儲存位置:AWS S3
  • 統一為可延展的資料格式:JSON
  • 建立文件避免做重複的事:Wiki
  • 開放沒煩惱:避開個人隱私資料

資料有點太多

然而,往下坐之後,林佑璟發現一件事,讓他自己也覺得有趣:

資料有點太多。

龐大資料帶來的主要影響是跑一支程式需要花上好幾天的時間,萬一中間發現有 bug,又要花好幾天修改、等結果。因此團隊開始探索更合適的技術如 Hadoop。但林佑璟也直言,追新技術很花時間。例如 Hadoop 某些特性會造成跑一次會很久,使用當時還不穩定的 Spark,又常常會遇到 OOM(Out of Memory)。

然而,林佑璟指出,團隊內的資料科學家會抗拒使用 Hadoop 相關的技術,因為他們可能習慣使用 R 和 Python。他指出,要知道資料科學家不是神,問題要交給合適的人用合適的工具去解決。他引用了 Adam Drake 寫的文章,1 表示有時候用 command-line tools 就可以解決的問題,未必需要動用到 Hadoop。

於是 KKBOX 發展出了一套資料科學團隊架構。

KKBOX 的資料科學團隊架構

林佑璟所屬的 KKBOX 研究中心發展出以下的團隊架構:

Data Engineering

把 raw data 吃進來之後,使用 Hadoop 或 Spark 等技術製作儀表板和報告給管理團隊或相關團隊看,同時會將相關資料整理到比較好存取的資料庫,供未來其他團隊使用。

Data Science

資料科學團隊則是拿資料工程團隊整理好的儀表板和報告資料進行分析,偶爾也會看一下資料工程團隊整理好的原始資料,由於此時資料量已經沒那麼大,資料科學團隊的成員可以使用他們習慣的 Python 或是 R。

Machine Learning

林佑璟解釋,KKBOX 是音樂串流服務,因此推薦引擎和分類機制相當重要。推薦引擎這個「引擎」會需要好的「機油」,而資料科學家產生的 data insight 就是推薦引擎的「機油」。

進一步舉例,KKBOX 的想法是,如果要解決一個推薦引擎的問題,團隊會將問題細分成三塊,各自交給適合的小組來負責,這樣處理起問題會更加有效率。

林佑璟呼籲,團隊要重視資料的可取得性,沒人碰的資料等於沒有價值。選擇適當的工具,一味追求新技術並沒有那麼重要,能解決問題,舊工具也是好工具。不同的問題要交給不同的人處理。


  1. Command-line tools can be 235x faster than your Hadoop cluster

台灣疫情加溫,圓剛科技遠端方案幫助企業與學校數位轉型

在近日本土疫情的嚴峻情況下,商務活動、學校課程或生活娛樂都大受衝擊,遠距視訊的需求是所有人必須面對的課題。圓剛科技個人影音設備堅持台灣設計製造,協助居家防疫、守護台灣,以實際行動為第一線防疫人員加油。
評論
Photo Credit:圓剛科技
評論

新冠肺炎(COVID-19)疫情自五月中爆發以來,確診數不斷攀升,指揮中心指揮官陳時中 19 日宣布,全國疫情警戒升至第三級,也希望各企業也比照辦理防堵疫情擴散,且全國各級學校及幼兒園居家線上學習也延長至 6 月 28 日。台灣在疫苗數量和施打率落後的情況下,各機構配合政策紛紛祭出遠距工作、學習的對策,各行各業也積極的添購新設備,以維持正常運作。

遠端工作、遠距教學不再是未來趨勢,而更是現在的急迫需求

一般電腦內建的攝影機和麥克風或許可滿足大部分人的休閒需求,但為了能應對與客戶、主管以及同事間精準有效率的溝通,高品質的影音設備是不可或缺的。在家工作時最困擾的莫過於因為與家人同住或家中寵物小孩的干擾,會議品質與工作效率都會大打折扣。根據線上協作軟體公司 Atlassian 從自家軟體的使用行為,分析各國上班族的工時,發現在節省掉通勤時間的情況下,取而代之的是更長時間在座位上的辦公型態,對身心都會有不良影響。

Photo Credit:圓剛科技

影音設備大廠圓剛科技,一直以來致力於提供優秀的影音串流設備,也深耕在個人視訊會議、遠距教學的解決方案多年,除了高品質的產品,快速換新的保固服務,台灣設計及台灣製造的堅持,為品質把關,以及針對遠距工作需求不斷研發出新產品,為商務人士,教育工作及學習者提供完整的視訊影音解決方案。

圓剛最新電話揚聲器 AI 降噪還原舒適辦公環境

圓剛新推出的 AS311 智慧電話會議揚聲器,正是為了解決在家上班的痛點而設計,搭載的 AI 降噪功能可以降低環境噪音,處理屋內雜音不斷、貓狗持續吵鬧的問題,讓對話能清晰傳達給對方;特別是其優秀的收音與揚聲功能,在室內自由移動也不會影響溝通,居家上班不必成天待在座位上,且不用整天掛著耳機,如果怕打擾到家人而身處在狹窄的個人空間,透過回音消除功能,讓對方接收不受雜音干擾的音訊。

而在高畫質影像的需求,則由主打的 PW315 超廣角網路攝影機來滿足,廣闊的視角和高達 60fps 的刷新率,讓視訊畫面清楚而流暢不卡卡,獨特的人像追蹤功能,即使離開座位也不用多花力氣調整畫面。除了工作使用,在遠距面試上,也能完整還原面試表現,為自己加分。這套影音組合從設計到組裝都在台灣,同時也支援主流視訊軟體,不僅符合個人商務需求,品質、保固以及相容性也都可靠無虞。

遠距教學影音 互動完整舒適

各級政府積極應對疫情,並迅速地實施停班不停課的政策,但是一萬多所各級學校的關閉,這樣突如其來的遠距教學需求,挑戰著所有教師和學生,教師需要在提供原有的教學內容之餘,同時關心學生,聯絡感情;而學生則需要能維持良好的通訊設備來有效的學習,和設法彌補以往面對面能訓練的社交能力,家長也必須設法在工作與帶小孩中取得平衡。

Photo Credit:圓剛科技

圓剛的網路攝影機針對各類情境做設計,從 4K 超高畫質到清晰的 1080p,從 74 度視角的個人視訊到 95 度超廣角鏡頭,以及定焦變焦都有專屬的產品可以選擇。

超廣角網路攝影機 PW315 能夠涵蓋黑板、白板的廣闊視角,教師即使透過視訊,仍然能做到配合大肢體動作的板書教學,4K 超高畫質網路攝影機 PW513 則能進一步捕捉更多畫面細節,讓線上教學也能做到生動多變,提高學生課堂專注度。

而目前多為紙本的教材,則能透過 PW310P 自動對焦攝影機的近景成像,清楚展示課本內文,即時捕捉老師教學的教具;教師如果想在多人辦公室製作教學影片時,希望不受干擾也不干擾別人,也可以從 BO317 個人視訊協作組合開始,以親民的價格輕鬆入手完整組合。

超廣角攝影保持溝通效率 學生遠距考試不麻煩

學生則可以透過自動對焦的網路攝影機 PW310P 清楚展示完成作品,讓老師的回饋也能更加清楚,使學生積極完成作業,且更重視下次的作品評價;並搭配 AS311 智慧電話會議揚聲器,能夠以清楚的聲音與同學、老師討論互動,彷彿面對面的臨場感,有效降低遠距的疏離感,保持互動。更重要的是學生不用長時間的配掛耳機,降低耳朵受傷的風險,及提高課堂學習的舒適性,目前很多學校反映有遠距考試的需求,考生須以特定角度開啟視訊,確保桌面、身上和眼前沒有放置作弊嫌疑的物品,也必須包含螢幕畫面,只需要使用超廣角網路攝影機 PW315,就能清楚回傳監考畫面,既能減少準備工作,也確保了考試公信力。

Photo Credit:圓剛科技

圓剛科技 連結工作與生活

在近日本土疫情的嚴峻情況下,商務活動、學校課程或生活娛樂都大受衝擊,居家個人視訊的需求是所有人必須面對的課題。圓剛科技多款產品推出優惠價格來回饋社會,而 AS311 智慧電話揚聲器也有產品借測活動,讓企業和學校在購買前能事先試用,確保符合使用需求,更多產品資訊可參考圓剛科技官網,或與業務聯絡。圓剛科技與國內各單位共體時艱,一同居家防疫、守護台灣,以實際行動為第一線防疫人員加油。

現在只要註冊圓剛官網會員,在圓剛網路商城購買即享多項獨家優惠,並鎖定未來優惠通知。

延伸閱讀:找到屬於你的網路攝影機 | AVerMedia 圓剛

產品特點整理:

AS311

  • 隨插即用,不需任何技術背景
  • AI降噪功能,降低環境雜音(如鍵盤滑鼠敲擊聲、零食咀嚼聲及炒菜煮飯聲等)
  • 全方位收音,不受設備制約,可以離開座位自由移動
  • 讓耳朵不用整天掛著耳機

PW513

  • 極致4K畫質
  • 廣角涵蓋清楚黑板內容
  • 通過Zoom認證 相容主流會議軟體

PW315

  • 通過Zoom認證測試
  • 畫質好畫面流暢(1080p60 fps)
  • 超廣角捕捉人物動作 還原完整畫面
  • 自動人像追蹤 人物不出鏡

PW310P

  • 高畫質1080p30
  • 自動對焦 近物成像清晰
  • 鏡頭遮蓋保障隱私
  • 360度旋轉支架

BO317

  • 高畫質1080p30網路攝影機
  • 搭配高音質頭戴式耳機
  • 屏除環境干擾、避免打擾家人
  •  影音組合入門首選

本文章內容由「圓剛科技」提供,經關鍵評論網媒體集團廣編企劃編審。