精細化用戶增長案例！ | 成都傳媒

時間：2019-12-16

ABtest越來越受到大家的重視，快速的、靈活的快速對比實驗?zāi)苎杆俚恼页鰡栴}所在，避免了大范圍的資源浪費。所以設(shè)計一個好的實驗是至關(guān)重要的。

一、A/B 測試是什么

簡單來說，A/B測試在產(chǎn)品優(yōu)化中的應(yīng)用方法是：在產(chǎn)品正式迭代發(fā)版之前，為同一個目標制定兩個（或以上）方案，將用戶流量對應(yīng)分成幾組，在保證每組用戶特征相同的前提下，讓用戶分別看到不同的方案設(shè)計，根據(jù)幾組用戶的真實數(shù)據(jù)反饋，科學的幫助產(chǎn)品進行決策。

A/B測試的應(yīng)用方式?jīng)Q定了它擁有的三大特性：先驗性、并行性和科學性。

先驗性：?A/B測試其實是一種“先驗”的試驗體系，屬于預(yù)測型結(jié)論，與“后驗”的歸納性結(jié)論差別巨大。同樣是用數(shù)據(jù)統(tǒng)計與分析版本的好壞，以往的方式是先將版本發(fā)布，再通過數(shù)據(jù)驗證效果，而A/B 測試卻是通過科學的試驗設(shè)計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的試驗結(jié)論，這樣就可以用很少的樣本量就能推廣到全部流量可信。

并行性：?A/B測試是將兩個或以上的方案同時在線試驗，這樣做的好處在于保證了每個版本所處環(huán)境的一致性，便于更加科學客觀地對比優(yōu)劣。同時，也節(jié)省了驗證的時間，無需在驗證完一個版本之后再測試另一個。

科學性：?這里強調(diào)的是流量分配的科學性。A/B 測試的正確做法，是將相似特征的用戶均勻的分配到試驗組中，確保每個組別的用戶特征的相似性，從而避免出現(xiàn)數(shù)據(jù)偏差，使得試驗的結(jié)果更有代表性。

二、A/B 測試的使用誤區(qū)

誤區(qū)一：輪流展現(xiàn)不同版本

首先需要明確，這種做法不是真正意義上的A/B測試。而這一現(xiàn)象，經(jīng)常出現(xiàn)在如今的廣告投放的環(huán)節(jié)。廣告主為了提升著陸頁的轉(zhuǎn)化率，會選擇將不同的廣告版本進行輪流投放展示。

但這一做法并不能保證每個版本所處的環(huán)境相同，例如選在工作日的晚七點黃金檔和下午三點時段，受眾群體會有明顯區(qū)別，以至于最終效果是否有差異，甚至導致效果不同的原因是很難下定論的。

正確做法：?不同版本方案并行（同時）上線試驗，盡可能的降低所有版本的測試環(huán)境差別。

誤區(qū)二：選擇不同應(yīng)用市場投放（隨機選取用戶測試）

對于一些已經(jīng)意識到數(shù)據(jù)先驗重要性的企業(yè)來說，為了驗證新版本對于用戶使用真實影響，可能會選擇將不同版本打包，分別投放到不同的應(yīng)用市場，當發(fā)現(xiàn)其中某版本的數(shù)據(jù)表現(xiàn)的最好，就決定將該版本全量上線。

更有甚者，會隨機選取一部分用戶（甚至是公司內(nèi)部人員）進行前期試用，根據(jù)數(shù)據(jù)反饋決定迭代版本。這都違背了A/B測試的科學流量分配的原則，很容易造成辛普森悖論（即某個條件下的兩組數(shù)據(jù)，分別討論時都會滿足某種性質(zhì)或趨勢，可一旦合并起來考慮，卻可能導致相反的結(jié)論）。

正確做法：?科學的進行流量分配，保證每個試驗版本的用戶特征相類似。

誤區(qū)三：讓用戶自主選擇版本

不少企業(yè)會在新版的頁面上留下返回老版本的入口，讓用戶自主選擇使用哪一版，通過收集返回按鈕的點擊率來判斷最佳版本。但該思路不利于統(tǒng)計分析用戶在新版的行為數(shù)據(jù)，因為用戶離開新版本可能單純是因為習慣使用老版本，而不是認為新版本的體驗不好，最終導致了試驗結(jié)果的不準確。

正確做法：?讓用戶展現(xiàn)對不同版本的真實使用體驗，企業(yè)則應(yīng)實時關(guān)注各版本的數(shù)據(jù)表現(xiàn)，并根據(jù)數(shù)據(jù)反饋及時調(diào)整試驗流量。

誤區(qū)四：對試驗結(jié)果的認知和分析過淺

這一誤區(qū)又包括了兩個不同的內(nèi)容：

其一，認為只有當試驗版本結(jié)果優(yōu)于原始版本時，試驗才算成功。事實上，A/B 測試是用于選擇最佳版本的工具。試驗可能出現(xiàn)的結(jié)果分為三種：試驗版本有提升（試驗版本最佳）、無明顯差異（兩版本均可）、試驗版本的表現(xiàn)比原始版本糟糕（原始版本最佳），這三種結(jié)果其實都說明了試驗的成功。

其二，單從試驗的整體數(shù)據(jù)結(jié)果，就推論所有場景的表現(xiàn)效果。例如，當A/B測試的結(jié)果表明試驗版本的數(shù)據(jù)差于原始版本時，就認定所有的地區(qū)或渠道的效果都是負面的。

但如果細分每個版本中不同瀏覽器的數(shù)據(jù)，可能會發(fā)現(xiàn)：由于某一瀏覽器的明顯劣勢，導致整體試驗數(shù)據(jù)不佳。因此，不要只專注于試驗數(shù)據(jù)的整體表現(xiàn)，而忽略了細分場景下可能導致的結(jié)果偏差。

正確做法：?在分析試驗整體數(shù)據(jù)的同時，需要從多個維度細分考量試驗數(shù)據(jù)結(jié)果

三、A/B 測試可以用在哪里

盡管A/B 測試可以彌補產(chǎn)品優(yōu)化中遇到的不足，但它并不完全適用于所有的產(chǎn)品。因為A/B 測試的結(jié)果需要大量數(shù)據(jù)支撐，日流量越大的網(wǎng)站得出結(jié)果越準確。通常來說，我們建議在進行A/B測試時，能夠保證?每個版本的日流量在1000個UV以上?，否則試驗周期將會很長，或很難獲得準確（結(jié)果收斂）的數(shù)據(jù)結(jié)果推論。

說完什么樣的產(chǎn)品適合用A/B 測試，接下來我們將從優(yōu)化內(nèi)容和應(yīng)用場景兩個方面說明A/B測試可以用在哪些地方，希望能給你一些啟發(fā)。

優(yōu)化內(nèi)容

產(chǎn)品UI

不同行業(yè)的產(chǎn)品需要不同的風格，同時還要與企業(yè)的品牌相得益彰。利用A/B 測試優(yōu)化UI能給用戶帶來更好的交互體驗和視覺感受。

文案內(nèi)容

顧名思義是指用戶閱讀到的文字內(nèi)容，它貫穿一個產(chǎn)品的所有部分，小到圖片配文和按鈕文字，大到文章標題甚至版塊主題。這些部分都可以嘗試變換文案內(nèi)容，測試不同方案的數(shù)據(jù)效果。

頁面布局

有些時候，可能根本不需要對產(chǎn)品的UI或是文案內(nèi)容作出調(diào)整，只是在布局排版上的改變，就可以出現(xiàn)增長的效果。

產(chǎn)品功能

想給產(chǎn)品增加一個新功能，可是很難確定是否能達到用戶的預(yù)期，如果盲目上線，可能會造成一些損失。使用A/B 測試，對你的用戶真正負責。例如：社交類產(chǎn)品在付費查看照片的新功能正式上線前，需要進行A/B 測試，以驗證功能的使用情況和效果。

推薦算法

包括基于內(nèi)容的推薦算法（根據(jù)用戶的歷史記錄推薦相似內(nèi)容）、基于協(xié)同過濾的推薦算法（根據(jù)有相似興趣用戶的行為推薦相關(guān)內(nèi)容）、基于關(guān)聯(lián)規(guī)則的推薦算法（根據(jù)內(nèi)容本身的相關(guān)性給用戶推薦），最終提高用戶使用黏性。

四、應(yīng)用場景

廣告著陸頁

著陸頁作為互聯(lián)網(wǎng)營銷中流量的承接和轉(zhuǎn)化的關(guān)鍵步驟，如何讓訪客在看到廣告（或營銷頁面）后點擊進入著陸頁，并繼續(xù)保持對您的產(chǎn)品或服務(wù)的興趣，乃至產(chǎn)生好感，最終完成注冊、購買、分享等轉(zhuǎn)化行為是十分重要的。A/B測試能夠幫助你最大化你的營銷ROI。

Web/H5 頁面

除廣告營銷的傳播外，產(chǎn)品的官網(wǎng)頁面（不論是PC端還是移動端）始終是用戶了解產(chǎn)品的重要渠道。因此，如何讓用戶更好的了解產(chǎn)品信息，激發(fā)用戶產(chǎn)生進一步行為意愿，從而得到更高的注冊率、購買率、下載率等，是Web端頁面優(yōu)化的首要目標。利用A/B測試，可以在較少的成本支出下，找到頁面的最佳展現(xiàn)方法。

APP用戶體驗

隨著C端用戶的海量進入，產(chǎn)品的復雜度越來越高，新版本的決策風險也急劇提升，保持產(chǎn)品核心業(yè)務(wù)數(shù)據(jù)穩(wěn)步增長是每個App的版本目標，通過A/B測試在每個版本正式發(fā)布之前驗證版本的數(shù)據(jù)表現(xiàn)，讓每次迭代都能得到確定性增長。

媒體廣告投放與管理

對于媒體和廣告技術(shù)公司而言，可以通過A/B測試實現(xiàn)由設(shè)計與數(shù)據(jù)驅(qū)動的創(chuàng)新性廣告產(chǎn)品的優(yōu)化。

一方面借助測試可以優(yōu)化廣告投放效果和廣告資源填充率，以達到提升廣告單價的目標；另一方面還能衡量現(xiàn)有廣告產(chǎn)品對用戶體驗的影響，通過不斷提高用戶體驗的廣告產(chǎn)品，從而驅(qū)動更高的移動廣告業(yè)務(wù)收入。

灰度發(fā)布

目前產(chǎn)品優(yōu)化迭代的方式，通常是直接將某版本上線發(fā)布給全部用戶，一旦遇到線上事故（或BUG），對用戶的影響極大，解決問題周期較長，甚至有時不得不回滾到前一版本，嚴重影響了用戶體驗。A/B測試通過給小批量用戶發(fā)放版本，有效減少全用戶發(fā)生線上事故/重大BUG的概率，絕大多數(shù)用戶對BUG無感知，最大程度保證了用戶的良好體驗。