揭秘今日頭條系增長(zhǎng)的秘密—— A/B 測(cè)試

2018 年，中國(guó)移動(dòng)互聯(lián)網(wǎng)用戶增長(zhǎng)放緩，上半年僅增長(zhǎng) 2 千萬。

但是有一匹黑馬，硬是在這種惡劣的情況下，逆流而上。

今日頭條系獨(dú)立 App 用戶使用時(shí)長(zhǎng)占比，從 3.9% 猛增到 10.1%，增長(zhǎng)了1 .6 倍，超過百度系、阿里系穩(wěn)居總使用時(shí)長(zhǎng)第 2 名。

更牛逼的是，頭條系產(chǎn)品這種突飛猛進(jìn)的增長(zhǎng)速度還在持續(xù)，單今日頭條資訊 App 每天還在保持 100萬+ 的新增。

在頭條系如何做到這般“喪心病狂”的用戶增長(zhǎng)的背后，其實(shí)有一些不為認(rèn)知的小秘密。

頭條內(nèi)部會(huì)創(chuàng)新（或者抄襲）孵化產(chǎn)品，并且為每款產(chǎn)品設(shè)置留存生死線（RIO），超過生死線的產(chǎn)品就可以頭條系站內(nèi)流量扶持，快速讓它達(dá)到千萬級(jí)日活。

今日頭條涉足近60個(gè)產(chǎn)品

頭條內(nèi)部有非常強(qiáng)大的數(shù)據(jù)監(jiān)控系統(tǒng)（花大價(jià)錢買數(shù)據(jù)），任何產(chǎn)品的日活和增長(zhǎng)數(shù)據(jù)都在它們的監(jiān)控之下。

另外，為了幫助提升創(chuàng)新產(chǎn)品的成功率，頭條內(nèi)部甚至研發(fā)出了一套增長(zhǎng)引擎，在咱們還在糾結(jié)功能按鈕排序時(shí)，他們就在同時(shí)進(jìn)行幾十組甚至上百組的 A/B 測(cè)試，幫助產(chǎn)品經(jīng)理和運(yùn)營(yíng)們找到最優(yōu)的方案。

頭條強(qiáng)大的生死線和數(shù)據(jù)監(jiān)控系統(tǒng)我們模仿不來，他們的增長(zhǎng)引擎我們也暫時(shí)研發(fā)不出來。但是幫助篩選最優(yōu)方案的 A/B 測(cè)試，我們還是可以進(jìn)行借鑒學(xué)習(xí)的。

雖然 A/B 測(cè)試過去更多的是在產(chǎn)品領(lǐng)域，通過它來判斷功能的價(jià)值。其實(shí)到現(xiàn)在 A/B 測(cè)試已經(jīng)滲入到運(yùn)營(yíng)，哪天公眾號(hào)能推出小流量打開率測(cè)試功能，我想你會(huì)開心壞了！

A/B 測(cè)試，也叫對(duì)照實(shí)驗(yàn)和隨機(jī)實(shí)驗(yàn)。簡(jiǎn)單說，就是為同一個(gè)目標(biāo)設(shè)計(jì) A 方案和 B 方案，讓一部分用戶使用 A 方案，一部分用戶使用 B 方案。記錄用戶的使用情況，根據(jù)用戶反饋，比較得出哪個(gè)方案更佳。

千萬不要以為這里的“A/B測(cè)試”真的只會(huì)有 A 方案和 B 方案，“A/B 測(cè)試”只是習(xí)慣性叫法，你還可以有 C、D、E 多種供測(cè)試的方案。

看完定義，你可能會(huì)覺得“A/B 測(cè)試”這個(gè)概念已經(jīng)爛大街了，不就是提出多種方案供選擇，然后選擇效果最好的哪一種嗎？

其實(shí)理論講起來很簡(jiǎn)單，實(shí)際做起來還是需要很多技巧的。我們先來看一看，今日頭條是如何開展 A/B 測(cè)試的？

今日頭條的頭條號(hào)具有“雙標(biāo)題”功能，這其實(shí)就是 A/B 測(cè)試的一種實(shí)踐。

也許你會(huì)說，這難道不是為了讓用戶有更廣闊的起標(biāo)題空間嗎？一篇內(nèi)容可以起兩個(gè)標(biāo)題，那么一個(gè)標(biāo)題廢了，還有另一個(gè)標(biāo)題撐腰。不像微信公眾號(hào)，只有一個(gè)標(biāo)題，一旦標(biāo)題廢了，閱讀量基本上就完蛋了。

事實(shí)上，今日頭條設(shè)置“雙標(biāo)題”功能是為了更精準(zhǔn)地了解用戶對(duì)于標(biāo)題的反饋，從而掌握用戶的行為數(shù)據(jù)。

當(dāng)然，今日頭條在 A/B 測(cè)試上最牛逼的玩法不是“雙標(biāo)題”功能，因?yàn)橹粶y(cè)試標(biāo)題，就會(huì)造成“標(biāo)題黨”泛濫橫行?；诖耍袢疹^條 A/B 有一套“動(dòng)態(tài)”的內(nèi)容推薦機(jī)制，這里的”動(dòng)態(tài)“指的是根據(jù)反饋結(jié)果，實(shí)時(shí)更新調(diào)整。

這套“動(dòng)態(tài)”內(nèi)容推薦機(jī)制是如何運(yùn)轉(zhuǎn)的呢？

同樣的方案，今日頭條會(huì)先推薦給小范圍的人群：

用戶的行為動(dòng)作會(huì)被搜集，據(jù)《今日頭條推薦系統(tǒng)原理》介紹，基本上每小時(shí)都可以看到用戶對(duì)內(nèi)容的反饋。但因?yàn)槊啃r(shí)都有數(shù)據(jù)上的波動(dòng)，今日頭條通常以天為時(shí)間節(jié)點(diǎn)，來查看用戶的行為數(shù)據(jù)。

將用戶的行為動(dòng)作進(jìn)行搜集后，今日頭條會(huì)有日志處理、分布式統(tǒng)計(jì)，寫入數(shù)據(jù)庫(kù)。

今日頭條系統(tǒng)就可以自動(dòng)生成：實(shí)驗(yàn)數(shù)據(jù)對(duì)比、實(shí)驗(yàn)數(shù)據(jù)置信度、實(shí)驗(yàn)結(jié)論總結(jié)以及實(shí)驗(yàn)優(yōu)化建議。

這樣看來，是不是覺得 A/B 測(cè)試的威力真的很強(qiáng)大，不僅完成了方案調(diào)研，還能通過測(cè)試掌握用戶口味，實(shí)現(xiàn)精細(xì)化內(nèi)容推薦，從而更好地留住用戶。

可能你會(huì)覺得 A/B 測(cè)試只有大公司才玩得起，和我們并沒有什么關(guān)系。可能你也會(huì)覺得這只是產(chǎn)品的事，和我們運(yùn)營(yíng)沒什么關(guān)系。

那你誤解可就大了。不僅小玩家也能玩，而且和我們運(yùn)營(yíng)大大的相關(guān)。如果你是一個(gè)會(huì)做增長(zhǎng)的運(yùn)營(yíng)，那你很可能就會(huì)成為你們公司的扛把子。

舉個(gè)例子：

我們之前邀請(qǐng)了「深夜發(fā)媸」的主編阿芙，來給我們做微課分享。既然談到微課，那肯定是要打磨微課海報(bào)，提升宣傳效果的。

于是我們請(qǐng)我司首席設(shè)計(jì)師做了一版，結(jié)果一出來，編輯部的小姐姐們意見不合吵了起來。

一個(gè)人認(rèn)為“如何寫出用戶喜歡的營(yíng)銷文案”，這個(gè)主題沒有吸引力，應(yīng)該改成“10 招寫出讓用戶喜歡的營(yíng)銷文案”。

還有一個(gè)人表示贊同，但是應(yīng)該進(jìn)一步優(yōu)化，改為“10 招寫出讓用戶瘋傳的轉(zhuǎn)化文案”。

這個(gè)時(shí)候，賢哥很機(jī)智的說了一句，你們就不能做 3 版海報(bào)嘛？每版海報(bào)只讓一個(gè)寶寶號(hào)，在同一個(gè)時(shí)間轉(zhuǎn)發(fā)（所有寶寶號(hào)均擁有 5000 人好友），這樣不就測(cè)出來哪版效果好了嘛？

當(dāng)時(shí)我們沒有想到，其實(shí)這就是 A/B 測(cè)試的思維。

后來我們實(shí)施了賢哥的想法，測(cè)試出了 3 個(gè)海報(bào)的轉(zhuǎn)發(fā)率（轉(zhuǎn)發(fā)海報(bào)用戶/新增用戶），分別為：30%，35%，44%，效果最好的一張是：10 招寫出用戶瘋傳的轉(zhuǎn)化文案。

接下來，就發(fā)動(dòng)所有寶寶號(hào)，公司的全體員工分享海報(bào)，最終吸引了 3000 人來聽課，這也是我們目前效果最好的一次微課分享。

除了微課的應(yīng)用，還有很多地方也可以用到 A/B 測(cè)試。

比如 App 的 push 可以做 A/B 測(cè)試。餓了么想要測(cè)試，不同的促銷活動(dòng)，對(duì)用戶的留存有多大作用，所以就發(fā)生了以下場(chǎng)景。

昨天，小松果興沖沖和我說，餓了么給她發(fā)了一條推送：“你有一張 15 元大額券待領(lǐng)取”，結(jié)果點(diǎn)進(jìn)去發(fā)現(xiàn)是“滿 40 減 15 ”。盡管這樣，她還是湊單點(diǎn)了很多東西。

根據(jù)以往經(jīng)驗(yàn)來看，餓了么喜歡在我們吃飯前推送。所以我看了看自己的餓了么推送：“訂單滿 45 可享七五折優(yōu)惠”。一看我就沒有興趣，起點(diǎn)那么高。

其實(shí)這就是餓了么運(yùn)營(yíng)給我們做的 A/B 測(cè)試。

通過這次測(cè)試，他們可以通過訂單率發(fā)現(xiàn)，同樣都是優(yōu)惠 15 元（都花 40 塊的前提下），直接突出數(shù)字 “優(yōu)惠 15 元”，就比“滿 40 減 15”效果好。

總之，通過 A/B 測(cè)試，確確實(shí)實(shí)能夠試出最佳增長(zhǎng)方法。除了 App 的推送，微課主題，還有很多場(chǎng)景可以用 A/B 測(cè)試，比如付費(fèi)廣告，應(yīng)用商店，著陸頁(yè)，新用戶引導(dǎo)流程等等。

A/B 測(cè)試看似簡(jiǎn)單，實(shí)則隱藏著許多溝溝坎坎，稍不注意就會(huì)導(dǎo)致試驗(yàn)結(jié)果偏離科學(xué)軌道。

如果真的有一天公眾號(hào)開發(fā)的標(biāo)題 A/B 測(cè)試的功能，你會(huì)用下列哪個(gè)方案去測(cè)試的你的標(biāo)題？

如果你的是選擇 b 方案的話，恭喜你翻車了！

舉個(gè)不太恰當(dāng)?shù)睦?，b 方案的測(cè)試方法就好比在電視上投放廣告，分別選取了工作日的下午 3 點(diǎn)鐘和晚間黃金時(shí)段進(jìn)行測(cè)試收集。

由于輪流展示時(shí)的測(cè)試環(huán)境不盡相同，所面向的受眾群體更是千差萬別，因此最終試驗(yàn)結(jié)束后的數(shù)據(jù)結(jié)果必然會(huì)存在一定偏差，也就更不具有說服性了。

在測(cè)試結(jié)果沒有表現(xiàn)出理想狀態(tài)下的數(shù)據(jù)提升時(shí)，如果你直接放棄的話，有可能你又踩坑了。

國(guó)際短租平臺(tái)，搜索是 Airbnb 生態(tài)系統(tǒng)中很基礎(chǔ)的一個(gè)組成部分。Airbnb 曾經(jīng)做過一個(gè)關(guān)于搜索頁(yè)優(yōu)化的 A/B 測(cè)試，新的版本更加強(qiáng)調(diào)了列出的圖片，以及房屋所在位置（如下圖所示）。

在等待了足夠長(zhǎng)的時(shí)間之后，試驗(yàn)結(jié)果顯示新老版本的整體數(shù)據(jù)相差無幾，似乎這次優(yōu)化沒有很好的效果。

如果此時(shí)，Airbnb 直接根據(jù)整體的數(shù)據(jù)表現(xiàn)放棄了這次優(yōu)化，那么這個(gè)花費(fèi)了很多精力設(shè)計(jì)的項(xiàng)目就會(huì)前功盡棄。

相反，經(jīng)過仔細(xì)研究，他們發(fā)現(xiàn)除了 IE 瀏覽器之外，新版在其他不同瀏覽器中的表現(xiàn)都很不錯(cuò)。當(dāng)意識(shí)到新的設(shè)計(jì)制約了使用老版本 IE 的操作點(diǎn)擊后（而這個(gè)明顯為全局的結(jié)果造成了很消極的影響），Airbnb 當(dāng)即對(duì)其進(jìn)行了修補(bǔ)。

至此以后，IE恢復(fù)了和其他瀏覽器一樣的展示結(jié)果，試驗(yàn)的整體數(shù)據(jù)增長(zhǎng)了 2% 以上。

通過 Airbnb 的例子，我們能學(xué)到正確的做法是：在整體效果不太好的時(shí)候，不要一竿子打死，而需要從多個(gè)維度細(xì)分觀察個(gè)體的情況，以避免區(qū)群謬誤帶來的決策偏差。

避開了上面的 2 個(gè)坑之后，你可能得到一個(gè)相對(duì)不錯(cuò)的測(cè)試結(jié)果，在你欣喜若狂時(shí)，正準(zhǔn)備對(duì)外宣布戰(zhàn)果時(shí)，可能已經(jīng)踩入了另外一個(gè)坑——“局部最優(yōu)”

以某金融平臺(tái)提升新用戶的注冊(cè)率的 A/B 測(cè)試為例，運(yùn)營(yíng)通過不斷進(jìn)行注冊(cè)按鈕的文案優(yōu)化，發(fā)現(xiàn)相比于“立即注冊(cè)”、“免費(fèi)注冊(cè)”等文案而言，“領(lǐng)取 100 元新人紅包”的注冊(cè)率是最高的。

但是，如果只是沉迷在文案上做測(cè)試，其實(shí)他可能就錯(cuò)過了提升用戶注冊(cè)率的其他更效假設(shè)。

正確的做法是可以進(jìn)行用戶調(diào)研，了解用戶不注冊(cè)的原因在哪，通常情況下金融平臺(tái)讓用戶放棄注冊(cè)的原因還在于，注冊(cè)流程繁雜、信任問題、無匹配的理財(cái)產(chǎn)品等，所以在完成了注冊(cè)按鈕的文案測(cè)試時(shí)，我們還需要在這些方面也進(jìn)行想要的實(shí)驗(yàn)。

今天的文章，我們通過分析今日頭條，向大家展示了 A/B 測(cè)試的強(qiáng)大功效，采用 A/B 測(cè)試不僅能夠在眾多方案中選擇出最佳方案，其實(shí)更能對(duì)產(chǎn)品進(jìn)行不斷的迭代優(yōu)化，實(shí)現(xiàn)用戶留存。

如今，A/B 測(cè)試已經(jīng)滲透到運(yùn)營(yíng)工作中，運(yùn)營(yíng)社也在實(shí)際工作中感覺到這個(gè)理論真的很好用。

1）當(dāng)有多種方案供選擇，但又產(chǎn)生意見分歧時(shí)，可以通過 A/B 測(cè)試找出找出最優(yōu)解。比如文章起標(biāo)題、裂變海報(bào)文案、以及 App 的 Push 等。

2）看似簡(jiǎn)單的 A/B 測(cè)試，其實(shí)有很多坑：

① 忽略測(cè)試環(huán)境差異，沒有進(jìn)行變量控制（只能有一個(gè)變量），造成數(shù)據(jù)偏差；

② 以偏概全，在測(cè)試結(jié)果沒有實(shí)現(xiàn)理想狀態(tài)下的數(shù)據(jù)提升時(shí)，就放棄對(duì)產(chǎn)品優(yōu)化，會(huì)導(dǎo)致項(xiàng)目前功盡棄；

③ 只進(jìn)行局部?jī)?yōu)化就忽略對(duì)其他部分的調(diào)整更新，無法查找出其他方面的漏洞。

來源：套路編輯部