作者：vivo 互聯(lián)網(wǎng)數(shù)據(jù)分析團(tuán)隊(duì) Luo Yandong、Zhang Lingchao
本文介紹了互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)效果評(píng)估的幾種常見(jiàn)問(wèn)題及方法，并基于分層抽樣的邏輯優(yōu)化出一套可應(yīng)用于解決用戶(hù)不均勻的“事后達(dá)爾文"分析法，可適用于無(wú)法AB測(cè)試或人群不均勻的AB測(cè)試等場(chǎng)景下的效果評(píng)估中，本文會(huì)基于實(shí)際應(yīng)用案例，來(lái)給大家仔細(xì)闡述相關(guān)方法模型的思考過(guò)程，實(shí)現(xiàn)原理，應(yīng)用結(jié)果，希望能夠幫助大家，如果能對(duì)大家在各自領(lǐng)域中的業(yè)務(wù)效果評(píng)估有所助益的話，那就更棒了！
一、引言游戲業(yè)務(wù)作為公司重點(diǎn)的創(chuàng)收?qǐng)F(tuán)隊(duì)，為了更好的達(dá)成營(yíng)收結(jié)果，需要不定期地開(kāi)展各類(lèi)運(yùn)營(yíng)活動(dòng)來(lái)促進(jìn)玩家付費(fèi)轉(zhuǎn)化、提升玩家付費(fèi)水平，這就要求我們游戲數(shù)據(jù)分析師采取科學(xué)有效的分析模型，準(zhǔn)確洞察分析各類(lèi)運(yùn)營(yíng)策略的價(jià)值與收益，及時(shí)控制風(fēng)險(xiǎn)與優(yōu)化后續(xù)運(yùn)營(yíng)方案。
(資料圖片僅供參考)
而在實(shí)際的分析工作中，我們通常會(huì)碰到各種各樣的業(yè)務(wù)及數(shù)據(jù)上的問(wèn)題，逼迫我們不斷迭代優(yōu)化分析模型，產(chǎn)出更有價(jià)值更科學(xué)有效的結(jié)論建議。
如下案例，就是我們?cè)?jīng)碰到的一個(gè)典型問(wèn)題——算是“辛普森悖論”[1]在游戲業(yè)務(wù)的一個(gè)實(shí)際體現(xiàn)：受不同月份游戲業(yè)務(wù)用戶(hù)付費(fèi)分布不均勻變化的影響，業(yè)務(wù)效果評(píng)估重要指標(biāo)利潤(rùn)率(利潤(rùn)/流水)，在整體和分游戲類(lèi)型的場(chǎng)景下的數(shù)據(jù)表現(xiàn)完全互斥。
近三年來(lái)，我們持續(xù)地開(kāi)展業(yè)務(wù)效果評(píng)估，在發(fā)現(xiàn)并解決問(wèn)題的過(guò)程中不斷總結(jié)經(jīng)驗(yàn)及數(shù)據(jù)結(jié)論，最終優(yōu)化迭代出“事后達(dá)爾文”分析方法論，從而有效解決游戲業(yè)務(wù)中效果評(píng)估的各項(xiàng)困難。
本文將從游戲業(yè)務(wù)效果評(píng)估的諸多問(wèn)題出發(fā)，闡述分析方法的發(fā)展歷程及數(shù)據(jù)邏輯原理，以及在游戲業(yè)務(wù)中具體的解決方案實(shí)踐，來(lái)完整介紹“事后達(dá)爾文”的思考過(guò)程與應(yīng)用落地，并展望更多應(yīng)用場(chǎng)景。
二、游戲業(yè)務(wù)效果評(píng)估常見(jiàn)問(wèn)題一覽游戲業(yè)務(wù)效果評(píng)估中常見(jiàn)的問(wèn)題有如下這些難點(diǎn)：
游戲業(yè)務(wù)受節(jié)假日自然因素影響大，如何剔除？比如十一、春節(jié)期間玩家自發(fā)的付費(fèi)增長(zhǎng)同活動(dòng)影響的關(guān)系？
部分活動(dòng)存在參與門(mén)檻，如何保障研究人群的一致性？比如返利活動(dòng)中需消費(fèi)達(dá)標(biāo)才能獲取禮券的參與門(mén)檻，未參與玩家天然付費(fèi)能力弱一檔的問(wèn)題。
整體與局部的效果差異的問(wèn)題，如何解讀？比如引言中網(wǎng)游單機(jī)利潤(rùn)率下降但整體利潤(rùn)率提升的問(wèn)題。
vivo的游戲營(yíng)銷(xiāo)類(lèi)活動(dòng)，一直致力于公平公正，絕對(duì)禁止殺熟，因此都需保持統(tǒng)一折扣力度，無(wú)法實(shí)現(xiàn)AB測(cè)試，如何持續(xù)優(yōu)化迭代？
游戲業(yè)務(wù)中營(yíng)銷(xiāo)活動(dòng)往往能沖刺短時(shí)間的付費(fèi)增長(zhǎng)，但是后期受玩家實(shí)際收入能力影響存在回落的風(fēng)險(xiǎn)，如何有效論證活動(dòng)的長(zhǎng)期正向價(jià)值？比如雙11期間開(kāi)展的電商活動(dòng)，明顯影響了前一個(gè)月及后一個(gè)月的用戶(hù)正常消費(fèi)水平。
以上諸多難點(diǎn)問(wèn)題，都衍生于業(yè)務(wù)的實(shí)際運(yùn)行過(guò)程中，需要我們分析師基于一套切實(shí)可行的方法論進(jìn)行解決。
三、效果評(píng)估分析方法的發(fā)展3.1 什么是效果評(píng)估業(yè)務(wù)團(tuán)隊(duì)為了提升相關(guān)指標(biāo)，如流水、利潤(rùn)等，而開(kāi)展的如滿(mǎn)減，返利，打折，促銷(xiāo)等活動(dòng)，在一段時(shí)間內(nèi)讓玩家、用戶(hù)更多的參與、消費(fèi)，來(lái)提升對(duì)應(yīng)的指標(biāo)。
而我們分析師就需要及時(shí)的研究清楚，這些業(yè)務(wù)動(dòng)作帶來(lái)了怎樣的實(shí)質(zhì)性的業(yè)務(wù)提升，以及如何形成更多優(yōu)化空間，這就是效果評(píng)估的核心內(nèi)容與價(jià)值。
3.2 效果評(píng)估方法的發(fā)展階段判斷業(yè)務(wù)效果，我們通常會(huì)細(xì)分很多指標(biāo)，比如參與率、投入產(chǎn)出比、流水、利潤(rùn)等。但我們最關(guān)心的往往是指標(biāo)增量，這是一個(gè)相對(duì)概念，核心就在于如何對(duì)比。為此，行業(yè)內(nèi)通用的分析方法有如下幾種：
時(shí)序比對(duì)法：
通過(guò)觀察活動(dòng)前后的增長(zhǎng)變化，如本周末開(kāi)展的活動(dòng)，那我們看本周末的流水去比對(duì)上周末的流水，來(lái)判斷活動(dòng)的增量；
自然過(guò)濾法：
受節(jié)假日等季節(jié)因素影響，本周和上周會(huì)有自然變化因素，為了過(guò)濾自然因素影響，我們將活動(dòng)參與人群與未參與人群拆解開(kāi)，將自然時(shí)間變化計(jì)算為未參與人群的本周流水比對(duì)上周流水的數(shù)值，最終按活動(dòng)增量減去自然變化情況來(lái)作為最終增量；
AB測(cè)試：
基于均勻分層情況下的嚴(yán)格AB測(cè)試實(shí)驗(yàn)，部分游戲/門(mén)店開(kāi)展活動(dòng)，部分不開(kāi)展，以不開(kāi)展活動(dòng)的部分增長(zhǎng)作為自然增長(zhǎng)，這樣也可以計(jì)算出最終的增量。
但是存在如下風(fēng)險(xiǎn)：
①無(wú)法保證用戶(hù)均勻分布；
②活動(dòng)開(kāi)展較復(fù)雜，且存在客訴風(fēng)險(xiǎn)，玩家不易接受，且損失部分活動(dòng)增量，不利于目標(biāo)達(dá)成。
事后達(dá)爾文：
集合方法2、3的各自?xún)?yōu)勢(shì)，我們將參與活動(dòng)人群/未參與人群，基于均勻分層的邏輯，按上周末arpu等指標(biāo)拆解分層，保障對(duì)比對(duì)象的相對(duì)公平，計(jì)算各分層內(nèi)參與人群的增長(zhǎng)-自然增長(zhǎng)（同分層未參與人群的增長(zhǎng)），最終匯總整體結(jié)果。
如下示例：
3.3 各方法的優(yōu)劣對(duì)比及適用場(chǎng)景說(shuō)明注：“事后達(dá)爾文”由數(shù)據(jù)分析團(tuán)隊(duì)成員于2019年研究出相關(guān)分析方法，并于2020年整理并取名為“事后達(dá)爾文”。
四、“事后達(dá)爾文”的分析方法論在介紹數(shù)據(jù)方案設(shè)計(jì)前，先介紹一下“事后達(dá)爾文”的分析思路和方法論，幫助大家更好地理解本文。
4.1 確認(rèn)研究對(duì)象研究對(duì)象分兩部分——人群和指標(biāo)。
（1）人群
包含參與活動(dòng)的人群、未參與活動(dòng)的人群。參與活動(dòng)的人群受到活動(dòng)、季節(jié)因素的綜合影響；未參與活動(dòng)的人群主要受季節(jié)因素的自然變化影響，如十一前和十一期間的自然付費(fèi)增長(zhǎng)。
（2）研究指標(biāo)
我們一般選擇核心關(guān)注的如人均流水ARPU、人均禮券（游戲業(yè)務(wù)活動(dòng)核心目標(biāo)）。其他場(chǎng)景亦可按核心關(guān)注指標(biāo)開(kāi)展研究，如產(chǎn)品測(cè)試場(chǎng)景的點(diǎn)擊率等。
4.2 分人群時(shí)間對(duì)比基于我們的研究人群（參與活動(dòng)與未參與活動(dòng)的人群），在活動(dòng)前、活動(dòng)期的研究指標(biāo)（流水、利潤(rùn)）表現(xiàn)情況，如下圖：
其中：
C1=A*(A4-A3*(B4/B3));
C2=A*(A2-A1*(B2/B1));
因通常情況下，主動(dòng)參與我們活動(dòng)的玩家會(huì)有更積極主動(dòng)的活躍、付費(fèi)等行為特征，導(dǎo)致玩家A、B人群并不符合均勻分布的特征，故B玩家人群的自然季節(jié)因素變化無(wú)法完全代表A玩家人群的自然變化，最終導(dǎo)致無(wú)法完全科學(xué)合理的體現(xiàn)出活動(dòng)玩法對(duì)A人群的增量。
4.3 人群均勻分層對(duì)比我們?yōu)楸Ｕ贤婕胰巳築的自然變化能反映A玩家人群的水平，在核心研究的指標(biāo)邏輯下，將A、B玩家人群做均勻的拆分，參考游戲業(yè)務(wù)活動(dòng)中，按照活動(dòng)前人均付費(fèi)水平拆分（其他場(chǎng)景也可基于其核心指標(biāo)拆分，如點(diǎn)擊率分發(fā)效率等）。
其中：
C1=A*(A4-A3*(B4/B3));
C2=A*(A2-A1*(B2/B1));
C=sum(C1:Cn);D=sum(D1:Dn);
為保障以上分析結(jié)果真的均勻，我們會(huì)對(duì)每一分組做相應(yīng)的驗(yàn)證，如上初始人群差異，若人群差異絕對(duì)值>=5%，則判斷置信度不足，對(duì)應(yīng)分組人群活動(dòng)影響不單獨(dú)做評(píng)估。
4.4 結(jié)果評(píng)估基于以上分層邏輯后，我們即可得到對(duì)應(yīng)置信分組下，參與人群的指標(biāo)變化率，未參與人群的指標(biāo)變化率，二者相減即得到活動(dòng)策略影響的增量變化（可正可負(fù)），匯總之后，即可得到整體增量變化，即為整體的活動(dòng)影響。
特別說(shuō)明：
通常情況下，置信度不足的分組人群，如果相關(guān)人群/流水比重過(guò)大，無(wú)法忽略影響的話（如超過(guò)10%），則會(huì)按照置信分組的總增量變化率來(lái)作為該分組的增量測(cè)算，此處僅供參考；
參與活動(dòng)人群規(guī)模較未參與差距過(guò)于懸殊，如<1:10的情況下，可考慮對(duì)B人群以抽樣的方式來(lái)實(shí)現(xiàn)以上的效果。
五、實(shí)際分析案例5.1 某年端午活動(dòng)數(shù)據(jù)效果分析5.1.1 背景信息：端午期間開(kāi)展了充值不同檔位可領(lǐng)取不同禮品的活動(dòng)，如100元檔、1000元檔、4000元檔等。（非實(shí)際案例）
5.1.2 前置分析：主動(dòng)參與的玩家，有較強(qiáng)的充值能力和欲望，對(duì)應(yīng)效果研究需排除過(guò)濾這種充值能力上的差異；
活動(dòng)面向全體玩家，無(wú)法開(kāi)展ABtest，也不一定適宜差異化策略；
游戲充值玩家存在活動(dòng)期大幅拉收，活動(dòng)后消費(fèi)降級(jí)的風(fēng)險(xiǎn)，所以整體研究中需考慮活動(dòng)中+活動(dòng)后的總體增量情況；
有活動(dòng)曝光的用戶(hù)內(nèi)部仍有較大差異，未參與活動(dòng)(即未領(lǐng)獎(jiǎng))用戶(hù)表明這些用戶(hù)對(duì)本次禮包活動(dòng)沒(méi)有興趣，本身付費(fèi)傾向較低，而參與活動(dòng)用戶(hù)則有較強(qiáng)付費(fèi)意愿。
5.1.3 分析結(jié)果：整體有無(wú)曝光對(duì)比：從整體看，有活動(dòng)曝光用戶(hù)的付費(fèi)提升顯著高于無(wú)曝光用戶(hù)，且在低付費(fèi)檔位的提升效應(yīng)更為顯著；
有曝光用戶(hù)內(nèi)部對(duì)比：有活動(dòng)曝光但無(wú)領(lǐng)獎(jiǎng)用戶(hù)本身為游戲的低付費(fèi)意愿用戶(hù)，因此后向付費(fèi)甚至不及無(wú)曝光用戶(hù)，而活動(dòng)對(duì)參與的用戶(hù)有明顯的付費(fèi)刺激作用。
5.2 某年游戲預(yù)約版本效果分析5.2.1 背景信息：（1）受?chē)?guó)家版號(hào)政策的緊縮，游戲業(yè)務(wù)的穩(wěn)定增長(zhǎng)體現(xiàn)在老游戲的持續(xù)迭代上，而其拉新、回流、留存的節(jié)點(diǎn)，都圍繞在重大版本更新節(jié)點(diǎn)上。所以我們有產(chǎn)品通過(guò)版本更新功能，提前將游戲新的玩法/內(nèi)容/活動(dòng)傳遞給用戶(hù)，以提升游戲節(jié)點(diǎn)表現(xiàn)。
（2）我們vivo的版本預(yù)約已做了有段時(shí)間，但始終沒(méi)有一個(gè)較為嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)對(duì)比和數(shù)據(jù)分析，驗(yàn)證做這件事為平臺(tái)帶來(lái)的增量?jī)r(jià)值。故我們使用“事后達(dá)爾文”的分析方法對(duì)其展開(kāi)了相應(yīng)研究。
版本頁(yè)面樣式參考如下：
5.2.2 前置分析思考：預(yù)約與非預(yù)約用戶(hù)，除了在預(yù)約行為上存在差異，還存在版本信息感知上的差異，主要體現(xiàn)在活躍頻次上，需要逐步進(jìn)行對(duì)比分析；
中心灰度放量提供了是否感知版本信息的兩類(lèi)人群對(duì)比，但灰度本身對(duì)用戶(hù)的中心版本、手機(jī)性能和中心使用行為有要求，導(dǎo)致灰度用戶(hù)在游戲內(nèi)的活躍付費(fèi)天然優(yōu)于非灰度用戶(hù)。
5.2.3 分析結(jié)果：版本信息感知價(jià)值：提前感知版本信息的用戶(hù)在版本更新后向付費(fèi)有提升，總體付費(fèi)約高于無(wú)版本預(yù)約感知用戶(hù)6%，且在高活躍天頻下付費(fèi)與無(wú)感知用戶(hù)拉開(kāi)差距；
主動(dòng)預(yù)約行為的價(jià)值：版本更新后預(yù)約用戶(hù)付費(fèi)相比僅感知無(wú)預(yù)約用戶(hù)，其提升更為明顯。
六、總結(jié)和展望對(duì)于游戲業(yè)務(wù)效果評(píng)估中面臨的各類(lèi)問(wèn)題，我們借鑒過(guò)往經(jīng)驗(yàn)，經(jīng)過(guò)不斷嘗試和探索，基于用戶(hù)分層的邏輯，拆解用戶(hù)，將保持同一核心特征的用戶(hù)放在一個(gè)水平線上進(jìn)行對(duì)比，開(kāi)發(fā)出“事后達(dá)爾文”的解決方案，并在解決游戲業(yè)務(wù)效果評(píng)估中取得長(zhǎng)期較好效果。我們近期也有在推動(dòng)大數(shù)據(jù)將相關(guān)的分析方法模型，結(jié)合游戲業(yè)務(wù)用戶(hù)運(yùn)營(yíng)的實(shí)際特點(diǎn)，進(jìn)行模型線上化，屆時(shí)將更加快速便捷的完成活動(dòng)策略的效果評(píng)估，給到業(yè)務(wù)方更及時(shí)有效的支持。
本文希望能讓大家更了解游戲業(yè)務(wù)分析工作的實(shí)踐情況，能對(duì)大家不同業(yè)務(wù)的分析評(píng)估工作有一些直觀的參考價(jià)值。當(dāng)然，方案中的具體模型細(xì)節(jié)、風(fēng)險(xiǎn)排查等無(wú)法完完全全的寫(xiě)出，也由衷歡迎感興趣的朋友們和筆者一起探討交流，謝謝大家！
參考文獻(xiàn)：
趙煥光、章勤瓊、王迪著《真理相遇統(tǒng)計(jì)》
標(biāo)簽：
