做過A/B Test嗎?網站測試七大準則,其中第七點最重要

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。
評論
評論

Ronny Kohavi 曾任職於 Bing 和 Amazon 等知名網站。現在越來越多的網站開始個人化,不過卻很少有人能像他一樣了解網站測試的內在機制,他之前在微軟擔任軟體與服務的分析與實驗團隊總經理,而更早之前則是亞馬遜的資料探勘與個人化部門的主事者。

Kohavi 和他的同事 Alex Deng、Roger Longbotham 以及 Ya Xu 在 KDD 研討會上發表了一篇論文,記錄了他們在網站測試上的七個準則,而這些準則來自於作者們過去在 Bing、LinkedIn、Booking.com 以及其他公司所獲得的經驗。

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。儘管像是 Facebook 的網站測試結果通常不太如意(新版表現得比舊版還糟,以至於改版取消),Kohavi 認為使用者測試仍然是確認任何網站所做的改變是否做對了的最有效率方式。他相信在推出一個網站的改變之前,先用一小群抽樣的使用者來測試會比較好,否則如果那個改變並不受歡迎,就等於冒險一下子讓所有的使用者都獲得不好的使用經驗。

以下就是 Kohavi 與他的團隊所揭露的七個網站測試準則:

1. 小小的改變就可以對關鍵指標有所衝擊。

Kohavi 說:「在軟體的領域,發布的時候有 Bugs 是很正常的。對我們來說,常常發現我們認為很小的改變,但因為有一個 Bug,實際上卻造成很大的負面影響。」舉例來說,有一次 Kohavi 在 JavaScript 的程式碼做了一點改變,並且用了 10% 的人來做測試,結果當使用 IE 7 的時候,卻無法點擊任何一個連結,那是一個非常糟糕的體驗。

但是好的改變也有,Kohavi 舉例他們在 2004 年對 Amazon 所做的小改變就是把信用卡的優惠從首頁移到結帳頁,並且加上文字敘述,告訴消費者如果用 Amazon 的信用卡登入的話,可以省下多少錢。因為這個改變,每年賺了好幾千萬美元。

2. 改變很少能對關鍵指標有巨大的正面衝擊。

微軟的團隊說,任何一個網站的測試,想要產生巨大的衝擊幾乎是不存在的。但是,小型的改變可以逐漸被累加起來。像是 Bing 搜尋引擎就是日復一日的小幅調整所完成的。

3. 每個人的里程數不同。

在網站測試上,很重要的一個觀念就是,哪一招在一個網站上是管用的,未必用在另一個網站也一樣有效。要注意的是,測試的結果並非總是可信的,因為人們偶而會出現欺瞞的舉動。

4. 速度很重要。

速度其實比什麼都重要,使用者會去反應他們所拜訪網站的速度。Kohavi 說:「我們在 Bing 做過一次減速測試,那時候我們讓使用者的連線速度以很輕微的比例減慢,看看這會對我們的關鍵指標造成什麼影響?我們大概只減緩了 100 到 200 豪秒,而造成的影響卻非常的巨大。以 Bing 為例,每加速 100 微秒,就可以增加 0.6% 的收入。」

5. 減少使用者放棄的行為是很難的,但是讓使用者改變點擊是簡單的。

要說明這個現象有點複雜,不過大致上來說,如果你要使用者在一個網頁上多點幾下,是很困難的事情,但是如果你要讓使用者點擊同一個頁面上不同的地方,就簡單多了。Kohavi 舉例,當 Bing 移除了超過一千萬個使用者搜尋引擎右側的相關搜尋,經過實驗,頁面的點擊數量卻幾乎一模一樣。使用者下意識地把原本右側相關搜尋的點擊散佈到頁面其他的地方去。

6. 避免複雜的設計。

Kohavi 和他的同事們堅信,對於網站測試來說,越簡單越好。他說最好的測試就是只有 A/B。不管是 A/B/CA/B/C/D 甚至更複雜的測試,對於組織來說都沒有顯著的效益。

其中一個例子就是他們在 2013 年幫 LinkedIn 測試搜尋引擎的更換,有多重因子的複雜測試,讓他們在試圖找到新搜尋引擎上有沒有什麼是使用者討厭的功能時,遇到了很大的困難。最後只能簡化測試,才能找到 LinkedIn 新的搜尋引擎有哪些功能會讓使用者失望。

7. 要有足夠的使用者。

這一個準則也是最難的一個。如果沒有足夠的使用者,就幾乎不可能得到準確的結果,然而到底要多少使用者才夠?則取決於要測試的因子有多少。

延伸閱讀:Lessons In Website Testing From A Master

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

好友人數

當個人化服務浪潮襲來 品牌如何以數位CRM打造會員生態圈 優化後疫情時代商業模式

隨著數位時代演變,個人化服務漸受各方企業重視,本文以數位CRM系統所衍生之各項服務為例,說明PChome如何將「MarTech」運用在個人化服務中,以及其所扮演的各種關鍵性角色。
評論
photo credit:shutterstock
評論

隨著iOS14的社群隱私權政策改變,以往透過數位廣告帶來的流量紅利已隨之消退,追蹤用戶使用習慣與興趣所帶來的轉換率更是逐漸降低,加上疫情影響,線上消費數量暴增,消費者比以往更重視個人化服務,因此「再」數位化浪潮襲來,「MarTech」(科技行銷)儼然已成為品牌數位轉型的重要工具,如何利用數位CRM(Customer Relationship Management)系統洞察消費者需求、立定行銷策略正是品牌所要面臨的一大挑戰。

以人為出發點:CRM成為科技化行銷的主要策略

過去大眾傳播式的集體宣傳在現在市場中已經逐漸無法滿足消費者需求,消費者越來越注重個人化的體驗。個人化體驗首先要獲得個人化的喜好,因此眾多品牌開始利用數位廣告、商務對話的方式獲取用戶的購物慾望清單,以及點數經濟刺激舊客回購,透過追蹤會員在網站上瀏覽、產生購買行為的行動軌跡,再搭配大數據分析,針對不同族群設計推播內容再加以溝通,以此提升服務品質並深度經營顧客關係。而數位CRM系統則扮演著科技化行銷的主要策略,不僅能協助整合會員數據,更善加運用客戶標籤,傳遞精準的資訊,與消費者互動,提升「獲客」與「活客」的能力,建立忠誠度立足數位市場。

建立會員分級制度 打造精準個人化服務

數位CRM是打造顧客回流最佳的工具,不過要讓用戶長期買單,客製化的溝通模式與打造會員分級制度才能有效提升用戶黏著度。例如誠品以書店起家,目前也朝向複合式商場邁進,旗下事業版圖橫跨書店、文具店、電影院、旅館,甚至連生鮮超商、酒窖都有經營,也開始新增許多小規模的社區店;在電商方面,除了自有的誠品線上網站,也在其他電商開設主題館增加接觸點。誠品正在打造自己的生態圈,並努力運用數位足跡進行CRM策略應用,如將會員分卡分級,並給予高等級的會員不一樣的特級制度,但同時也為有特定偏好的會員設立不同的制度,像是針對購書會員推出「讀書人徽章」分級制度,有藝文活動也會優先讓高等級的讀書人先報名。

而PChome旗下的時尚選貨電商MiTCH攜手GoSky建立會員點數系統,利用Messenger Chatbot的功能打造數位會員卡,以簽到集點、兑禮、限時任務等誘因與用戶深度互動,創造每日簽到率81%的佳績。透過這樣的忠誠度計畫,企業更能區別用戶的使用頻率與黏著度,進而建立會員分級制度並精準溝通資訊。另外零售品牌全聯也攜手Appier運用AI技術整合線上線下的會員資料,並利用貼標技術辨別消費者輪廓,分析出會員曾搜尋、瀏覽的軌跡來量身打造客製化的專屬推薦商品。

photo credit:gosky官網
MiTCH攜手GoSky建立會員點數系統,利用Messenger Chatbot的功能打造數位會員卡深化會員互動。

消費型態轉變 透過生態圈落實CRM掌握會員輪廓

生態圈和全通路是許多零售商和電商目前都在深度經營的策略,為的都是收集更多的數據創造更個人化的體驗。例如誠品的會員制度不只是針對所有會員,還因應會員的消費習慣推出不同的方式和獎勵,讓消費者感到差異化,進而提升品牌黏著度。

電商品牌PChome 24h購物過去利用到貨服務以及不囉唆的退貨機制,作為培養客戶忠誠度的關鍵。他們也藉由完整化金流系統,建立了自己的P幣生態圈,透過完整的通路和支付系統了解消費者的消費習慣,現在藉由數位CRM操作觀察到,對比2019-2020年到今年台灣疫情爆發後,全站消費活躍用戶從本來的25-54歲年齡層,擴增到18-24歲以及65歲以上,另外是熟齡女性用戶比起2019上半年有20%以上的成長,顯示出受疫情影響,整體消費型態的改變更是橫跨各世代族群。

懂得根據數據策略布局才是關鍵心法

針對消費需求的變化,PChome 24h購物進一步將四大主題會場結合時事及需求規劃選品,不論是居家上班上課所需的3C產品、或是照顧到想要培養居家儀式感之族群的電玩、書店、健身等品項,還有提前佈局宅家防疫被悶壞的心,規劃一系列夏季穿搭、防曬彩妝、露營用品等夏季出遊必備產品。

運用數位CRM進行策略行銷,有利於品牌活絡舊客以及帶動業績成長,如PChome 24h購物在22周年慶「狂樂收貨節」利用大數據撈出會員最感興趣的人氣品牌及集品類,進行每日換檔,抑或是看準低接觸外送商機,與foodpanda攜手推出在APP、網站購物消費滿$1即可獲得foodpanda新客5折券,串聯兩大平台資源,建立更大的用戶資料庫,為後疫時代帶來嶄新的商業模式。

photo credit:PCHome
PChome 24h購物22周年生日慶「狂樂收貨節」,看準疫後需求調整四大主題會場。

除了推品策略,CRM也能有新玩法,PChome 24h購物22周年慶還推出「拉長音折扣賽」,串聯自有平台資源並結合IG濾鏡功能,在社群上與粉絲大玩挑戰任務,完成任務後透過IG Chatbot的行銷技術發送相對應的優惠折扣,而這樣透過開發互動濾鏡的遊戲方式不僅優化用戶的社群體驗,更透過CRM系統將用戶分級,依據達成任務的級距發送獎勵,成功觸動年輕族群,導入站內達成轉換。

photo credit:PCHome
PChome 24h購物推出「拉長音折扣賽」,用IG濾鏡發起社群挑戰,吸引粉絲兌換折扣。

Martech是許多企業、品牌在面對數位轉型時重要的行銷利器,其中CRM系統更是品牌與時俱進、端出更好的消費者服務所倚賴的重要工具,打造會員生態圈不僅能夠檢視會員服務的優劣並加以優化,建立會員忠誠度、使顧客不斷回購,更替平台帶入新契機的一大機會點。

本文章內容由「爆米花數位資訊」提供,經關鍵評論網媒體集團廣編企劃編審。