A/B 測試是游戲行業常用的數據試驗方法,特別是有過游戲出海經歷的企業,都嘗試過 A/B 測試:
商店 A/B 測試:在 Google Play 開發者后臺,通過 A/B 測試挑選最合適的游戲圖標、商店圖、商店視頻和商店文案;
廣告投放 A/B 測試:在 Facebook 投放廣告素材時,通過 A/B 測試發現哪一個受眾群體可以創造更高廣告價值;進行廣告投放的優化,確認哪一種投放方式/投放素材可獲得最佳成果;
廣告變現 A/B 測試:在變現聚合平臺調試廣告變現時,通過 A/B 測試尋找更合適的 Waterfall 配置等,尋找最佳的廣告觸發時機、廣告觀看獎勵、廣告播放形式等;
產品 A/B 測試:在游戲產品研發與運營過程中,測試美術設計,如按鈕用什么顏色、什么形狀,NPC 用什么造型、技能特效、抽卡表現等;
測試新手引導,調整新手階段的節奏、難度和特定的關卡設計;
測試界面布局,如商城界面布局,包括順序、大小、顏色和邊框等;
測試產品定價,確定哪些定價的硬通貨或者禮包對玩家更有吸引力;
測試變現入口,確定合適的變現入口,使得既可以獲得可觀的收益又不影響玩家體驗;
測試玩法機制,找到更吸引玩家的玩法,如調整 PVE 通關獎勵領取方式能否提升玩家體驗深度,副本增加隨機隱藏 BOSS 能否吸引玩家再次挑戰,PVP 不同匹配策略對玩家參與積極性有什么影響。
本文將圍繞游戲產品 A/B 測試,幫助游戲企業及時了解每一個重要變動帶來的是積極還是消極影響,從而實現在版本迭代時達到更好的留存和收益。
接下來通過三個真實實踐案例,講述神策數據 A/B 測試如何幫助游戲企業解決玩家轉化與參與度問題。
案例一:限時活動 A/B 測試,玩家游戲進度大幅提升
某款休閑游戲上線一段時間后,玩家付費逐漸乏力。策劃同學希望通過優化限時活動,刺激玩家付費,進而提升 LTV。目前限時活動設計為:玩家在限定時間通過指定數量活動關卡即可領取活動獎勵。玩家挑戰活動關卡需要消耗體力、攻防增益等道具。道具不足時,可以通過內購商城、觀看廣告兩種方式來及時補充。策劃同學希望通過在活動中加入一些社交競爭元素,借助相互攀比的心態,激勵玩家盡早通關活動關卡,提升收益(短期內消耗更多付費道具)。
在以往實踐中,將社交競爭元素用排行榜的形式來展現效果會更好。因此策劃同學設計了三版排行榜展示策略:
1、為玩家展示相同地區其他玩家的活動進度;
2、為玩家展示相似水平段位其他玩家的活動進度;
3、為玩家展示相近剩余體力其他玩家的活動進度。
同時,通過 A/B 測試進行策略驗證——將玩家分為對照組和三個試驗組,各組玩家只能看到所屬組的排行榜展示形式:
對照組:此組玩家將不會被展示進度排行榜
試驗組 1:此組玩家將會被展示相同地區玩家的進度排行榜
試驗組 2:此組玩家將會被展示相似水平段位玩家的進度排行榜
試驗組 3:此組玩家將會被展示相近剩余體力玩家的進度排行榜
圖 神策數據 A/B 測試設置試驗分組界面
然后,篩選試驗受眾玩家為“活躍玩家”,設置試驗核心指標為“活動時間段內的人均收益”,設置試驗輔助指標為“活動參與率”。
接下來,在進行為期一周的觀察之后,發現試驗組 2 的置信區間在【+4.69%,+9.54%】,核心指標有顯著提高,因此,產品團隊將試驗組 2 的版本確定為最新可發布版本。
在該過程中,神策數據 A/B 測試解決方案能夠幫助游戲企業結合用戶行為分析,確定應對用戶變化的最優解決方案,最大化提升價值產出與效率。
案例二:通關獎勵展示形式的 A/B 測試,強化玩家粘性與游戲深度
某 RPG 游戲希望通過調整 PVE 關卡獎勵的領取方式,來提升玩家對 PVE 關卡獎勵的期待,刺激玩家持續參與關卡挑戰,從而提升玩家購買體力的可能性(挑戰關卡需要消耗一定體力)。當前玩家順利通關時,會展示通關獎勵,同時獎勵道具直接進入玩家包裹。針對此,策劃同學計劃在挑戰成功領取通關獎勵階段融入隨機機制,增加闖關樂趣,設計了兩種通關獎勵領取方式:
1、通關成功后,為玩家彈出大轉盤。玩家轉動轉盤后,可以獲得指針停留的道具,大轉盤內的道具與直接展示相同;
2、通關成功后,為玩家彈出三個寶箱。玩家可以選擇任一寶箱獲取里面的獎勵,選擇之前無法看到寶箱內道具信息,寶箱內道具配置與直接展示相同。
為了快速識別到最優的通關獎勵領取方式,策劃同學通過 A/B 測試觀察各個策略的數據結果輔助決策,將玩家分為對照組和兩個試驗組,各組玩家只能看到所屬組的獎勵領取方式:
對照組:直接展示關卡獎勵,玩家直接領取獎勵
試驗組 1:以轉盤形式展示獎勵,玩家通過旋轉轉盤領取獎勵
試驗組 2:以三寶箱形式展示獎勵,玩家通過選擇任一寶箱領取獎勵
在該試驗中,篩選試驗受眾用戶為“新注冊玩家”,試驗核心指標為“人均關卡通過次數”,試驗輔助指標為“人均在線時長”,綜合觀察指標變化后,發現試驗組 1 玩家平均通過關卡次數為 11.91 次,試驗組 2 玩家平均通過關卡次數為 12.27,均明顯高于對照組直接展示關卡獎勵的 11.2 次。因此,該游戲團隊將試驗組 2 作為正式版本對外發布。
案例三:新手限時禮包展示時長的 A/B 測試,有效提升玩家購買率
某策略游戲的策劃團隊對于新手限時禮包的購買率不太滿意,希望通過策略優化實現購買率提升。
目前,該游戲的新手禮包限購時長為 3 天,因此,策劃同學計劃通過調整禮包限購時長來營造緊張感,刺激玩家購買,從而提升禮包購買率。按照這一思路,策劃同學設計了一次 A/B 試驗,將當前限時 3 天購買的新手禮包作為對照組,將限時 2 天購買的新手禮包作為試驗組 1,將限時 1 天購買的新手禮包作為試驗組 2,將限時 7 天購買的新手禮包作為試驗組 3。各組禮包內的道具都一樣。
在進行試驗的過程中,篩選試驗受眾用戶為“新注冊用戶”,設置試驗核心指標為“禮包購買率”,設置試驗輔助指標為“禮包查看次數”。
經過觀察與分析試驗效果發現,對照組與試驗組的禮包購買率分別如下:
可以看出,試驗組 2 的禮包購買率相較于對照組提升明顯,能夠最大限度滿足此次改版需求。
此次試驗中,該游戲企業通過神策數據的 A/B 測試解決方案,能夠覆蓋完整用戶操作觸點,并得益于 One ID 映射方案,輕松實現用戶跨端識別。與此同時,運營同學可以將一份流量克隆為多份,流量復用,面向同一個玩家同時進行多個試驗;也可以將一份流量分割為多份,分配給多個試驗使用,同時保證各試驗流量相互隔絕,保持流量互斥;除此之外,還可以將一份流量拆分為多組,分配給多個試驗版本使用,并靈活調整各組分配比例,基于此實現一份流量、多份使用,大幅提升試驗并行數量。
綜上,神策數據 A/B 測試能夠幫助游戲企業在研運過程中,以更低成本做更多、更精準的試驗,驅動科學決策的誕生。
