做過A/B Test嗎?網站測試七大準則,其中第七點最重要

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。
評論
評論

Ronny Kohavi 曾任職於 Bing 和 Amazon 等知名網站。現在越來越多的網站開始個人化,不過卻很少有人能像他一樣了解網站測試的內在機制,他之前在微軟擔任軟體與服務的分析與實驗團隊總經理,而更早之前則是亞馬遜的資料探勘與個人化部門的主事者。

Kohavi 和他的同事 Alex Deng、Roger Longbotham 以及 Ya Xu 在 KDD 研討會上發表了一篇論文,記錄了他們在網站測試上的七個準則,而這些準則來自於作者們過去在 Bing、LinkedIn、Booking.com 以及其他公司所獲得的經驗。

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。儘管像是 Facebook 的網站測試結果通常不太如意(新版表現得比舊版還糟,以至於改版取消),Kohavi 認為使用者測試仍然是確認任何網站所做的改變是否做對了的最有效率方式。他相信在推出一個網站的改變之前,先用一小群抽樣的使用者來測試會比較好,否則如果那個改變並不受歡迎,就等於冒險一下子讓所有的使用者都獲得不好的使用經驗。

以下就是 Kohavi 與他的團隊所揭露的七個網站測試準則:

1. 小小的改變就可以對關鍵指標有所衝擊。

Kohavi 說:「在軟體的領域,發布的時候有 Bugs 是很正常的。對我們來說,常常發現我們認為很小的改變,但因為有一個 Bug,實際上卻造成很大的負面影響。」舉例來說,有一次 Kohavi 在 JavaScript 的程式碼做了一點改變,並且用了 10% 的人來做測試,結果當使用 IE 7 的時候,卻無法點擊任何一個連結,那是一個非常糟糕的體驗。

但是好的改變也有,Kohavi 舉例他們在 2004 年對 Amazon 所做的小改變就是把信用卡的優惠從首頁移到結帳頁,並且加上文字敘述,告訴消費者如果用 Amazon 的信用卡登入的話,可以省下多少錢。因為這個改變,每年賺了好幾千萬美元。

3034838-inline-amazon-inline

2. 改變很少能對關鍵指標有巨大的正面衝擊。

微軟的團隊說,任何一個網站的測試,想要產生巨大的衝擊幾乎是不存在的。但是,小型的改變可以逐漸被累加起來。像是 Bing 搜尋引擎就是日復一日的小幅調整所完成的。

3. 每個人的里程數不同。

在網站測試上,很重要的一個觀念就是,哪一招在一個網站上是管用的,未必用在另一個網站也一樣有效。要注意的是,測試的結果並非總是可信的,因為人們偶而會出現欺瞞的舉動。

4. 速度很重要。

速度其實比什麼都重要,使用者會去反應他們所拜訪網站的速度。Kohavi 說:「我們在 Bing 做過一次減速測試,那時候我們讓使用者的連線速度以很輕微的比例減慢,看看這會對我們的關鍵指標造成什麼影響?我們大概只減緩了 100 到 200 豪秒,而造成的影響卻非常的巨大。以 Bing 為例,每加速 100 微秒,就可以增加 0.6% 的收入。」

5. 減少使用者放棄的行為是很難的,但是讓使用者改變點擊是簡單的。

要說明這個現象有點複雜,不過大致上來說,如果你要使用者在一個網頁上多點幾下,是很困難的事情,但是如果你要讓使用者點擊同一個頁面上不同的地方,就簡單多了。Kohavi 舉例,當 Bing 移除了超過一千萬個使用者搜尋引擎右側的相關搜尋,經過實驗,頁面的點擊數量卻幾乎一模一樣。使用者下意識地把原本右側相關搜尋的點擊散佈到頁面其他的地方去。

6. 避免複雜的設計。

Kohavi 和他的同事們堅信,對於網站測試來說,越簡單越好。他說最好的測試就是只有 A/B。不管是 A/B/CA/B/C/D 甚至更複雜的測試,對於組織來說都沒有顯著的效益。

其中一個例子就是他們在 2013 年幫 LinkedIn 測試搜尋引擎的更換,有多重因子的複雜測試,讓他們在試圖找到新搜尋引擎上有沒有什麼是使用者討厭的功能時,遇到了很大的困難。最後只能簡化測試,才能找到 LinkedIn 新的搜尋引擎有哪些功能會讓使用者失望。

7. 要有足夠的使用者。

這一個準則也是最難的一個。如果沒有足夠的使用者,就幾乎不可能得到準確的結果,然而到底要多少使用者才夠?則取決於要測試的因子有多少。

延伸閱讀:Lessons In Website Testing From A Master

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

好友人數