国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

關(guān)于ABtest的重要性無(wú)需多言，數(shù)據(jù)、產(chǎn)品等從業(yè)人員幾乎必知，好的數(shù)據(jù)科學(xué)家我想一定是知道理解業(yè)務(wù)比模型更為重要，而AB test就是伴隨著業(yè)務(wù)增長(zhǎng)的利器。

如果你心中的AB test幾乎都沒(méi)有用到中心極限定理、假設(shè)檢驗(yàn)、z分布、t分布等知識(shí)，建議詳細(xì)閱讀本文。

本文內(nèi)容目錄：

• A/B test是什么

• A/B test工作原理

• 進(jìn)行A/B test的目的是什么

• A/B test流程（面試喜歡問(wèn)）

• A/B test簡(jiǎn)例（結(jié)合Python實(shí)現(xiàn)）

• A/B test需要注意的點(diǎn)

• A/B test中要知道的統(tǒng)計(jì)學(xué)知識(shí)

1

A/B test是什么

A / B測(cè)試（也稱(chēng)為分割測(cè)試或桶測(cè)試）是一種將網(wǎng)頁(yè)或應(yīng)用程序的兩個(gè)版本相互比較以確定哪個(gè)版本的性能更好的方法。AB測(cè)試本質(zhì)上是一個(gè)實(shí)驗(yàn)，其中頁(yè)面的兩個(gè)或多個(gè)變體隨機(jī)顯示給用戶(hù)，統(tǒng)計(jì)分析確定哪個(gè)變體對(duì)于給定的轉(zhuǎn)換目標(biāo)（指標(biāo)如CTR）效果更好。

2

A/B test工作原理

在A / B test中，你可以設(shè)置訪問(wèn)網(wǎng)頁(yè)或應(yīng)用程序屏幕并對(duì)其進(jìn)行修改以創(chuàng)建同一頁(yè)面的第二個(gè)版本。這個(gè)更改可以像單個(gè)標(biāo)題或按鈕一樣簡(jiǎn)單，也可以是完整的頁(yè)面重新設(shè)計(jì)。然后，一半的流量顯示頁(yè)面的原始版本（稱(chēng)為控件），另一半顯示頁(yè)面的修改版本（稱(chēng)為變體）。

當(dāng)用戶(hù)訪問(wèn)頁(yè)面時(shí)，如上圖灰色按鈕（控件）和箭頭所指紅色按鈕（變體），利用埋點(diǎn)可以對(duì)用戶(hù)點(diǎn)擊行為數(shù)據(jù)采集，并通過(guò)統(tǒng)計(jì)引擎進(jìn)行分析（進(jìn)行A/B test）。然后，就可以確定這種更改（變體）對(duì)于給定的指標(biāo)（這里是用戶(hù)點(diǎn)擊率CTR）產(chǎn)生正向影響，負(fù)向影響或無(wú)影響。

實(shí)驗(yàn)數(shù)據(jù)結(jié)果可能如下：

3

進(jìn)行A/B test的目的是什么

A / B test可以讓個(gè)人，團(tuán)隊(duì)和公司通過(guò)用戶(hù)行為結(jié)果數(shù)據(jù)不斷對(duì)其用戶(hù)體驗(yàn)進(jìn)行仔細(xì)更改。這允許他們構(gòu)建假設(shè)，并更好地了解為什么修改的某些元素會(huì)影響用戶(hù)行為。這些假設(shè)可能被證明是錯(cuò)誤的，也就是說(shuō)他們對(duì)特定目標(biāo)的最佳體驗(yàn)的個(gè)人或團(tuán)隊(duì)想法利用A / B test證明對(duì)用戶(hù)來(lái)說(shuō)是行不通的，當(dāng)然也可能證明是正確的。

所以說(shuō) A/B test不僅僅是解決一次分歧的對(duì)比，A/B test可以持續(xù)使用，以不斷改善用戶(hù)的體驗(yàn)，改善某一目標(biāo)，如隨著時(shí)間推移的轉(zhuǎn)換率。

例如，B2B技術(shù)公司可能希望從活動(dòng)登陸頁(yè)面提高其銷(xiāo)售線索質(zhì)量和數(shù)量。為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)將嘗試對(duì)標(biāo)題，可視圖像，表單字段，號(hào)召性用語(yǔ)和頁(yè)面的整體布局進(jìn)行A / B測(cè)試更改。

一次測(cè)試一個(gè)變化有助于他們確定哪些變化對(duì)訪問(wèn)者的行為產(chǎn)生何種影響，哪些變化沒(méi)有影響訪問(wèn)者的行為。隨著時(shí)間的推移，他們可以結(jié)合實(shí)驗(yàn)中多次正向變化的效果來(lái)展示變體相對(duì)于控件的可測(cè)量的改進(jìn)。

這樣來(lái)說(shuō)產(chǎn)品開(kāi)發(fā)人員和設(shè)計(jì)人員可以使用A / B測(cè)試來(lái)演示新功能對(duì)用戶(hù)體驗(yàn)變化的影響。只要目標(biāo)明確定義并且有明確的假設(shè)，用戶(hù)參與，產(chǎn)品體驗(yàn)等都可以通過(guò)A / B測(cè)試進(jìn)行優(yōu)化。

4

A/B test流程

①確定目標(biāo)：目標(biāo)是用于確定變體是否比原始版本更成功的指標(biāo)。可以是點(diǎn)擊按鈕的點(diǎn)擊率、鏈接到產(chǎn)品購(gòu)買(mǎi)的打開(kāi)率、電子郵件注冊(cè)的注冊(cè)率等等。

②創(chuàng)建變體：對(duì)網(wǎng)站原有版本的元素進(jìn)行所需的更改。可能是更改按鈕的顏色，交換頁(yè)面上元素的順序，隱藏導(dǎo)航元素或完全自定義的內(nèi)容。

③生成假設(shè)：一旦確定了目標(biāo)，就可以開(kāi)始生成A / B測(cè)試想法和假設(shè)，以便統(tǒng)計(jì)分析它們是否會(huì)優(yōu)于當(dāng)前版本。

④收集數(shù)據(jù)：針對(duì)指定區(qū)域的假設(shè)收集相對(duì)應(yīng)的數(shù)據(jù)用于A/B test分析。

⑤運(yùn)行試驗(yàn)：此時(shí)，網(wǎng)站或應(yīng)用的訪問(wèn)者將被隨機(jī)分配控件或變體。測(cè)量，計(jì)算和比較他們與每種體驗(yàn)的相互作用，以確定每個(gè)用戶(hù)體驗(yàn)的表現(xiàn)。

⑥分析結(jié)果：實(shí)驗(yàn)完成后，就可以分析結(jié)果了。A / B test分析將顯示兩個(gè)版本之間是否存在統(tǒng)計(jì)性顯著差異。

無(wú)論的實(shí)驗(yàn)結(jié)果如何，需要利用試驗(yàn)結(jié)果作為學(xué)習(xí)經(jīng)驗(yàn)生成未來(lái)可以測(cè)試的新假設(shè)，并不斷迭代優(yōu)化應(yīng)用元素或網(wǎng)站的用戶(hù)體驗(yàn)。

5

A/B test簡(jiǎn)例（結(jié)合Python實(shí)現(xiàn)）

實(shí)例背景簡(jiǎn)述：

某司「猜你想看」業(yè)務(wù)接入了的新推薦算法，新推薦策略算法開(kāi)發(fā)完成后，在全流量上線之前要評(píng)估新推薦策略的優(yōu)劣，所用的評(píng)估方法是A/B test，具體做法是在全量中抽樣出兩份小流量，分別走新推薦策略分支和舊推薦策略分支，通過(guò)對(duì)比這兩份流量下的指標(biāo)（這里按用戶(hù)點(diǎn)擊衡量）的差異，可以評(píng)估出新策略的優(yōu)劣，進(jìn)而決定新策略是否全適合全流量。

實(shí)例A/B test步驟：

指標(biāo)：CTR

變體：新的推薦策略

假設(shè)：新的推薦策略可以帶來(lái)更多的用戶(hù)點(diǎn)擊。

收集數(shù)據(jù)：以下B組數(shù)據(jù)為我們想驗(yàn)證的新的策略結(jié)果數(shù)據(jù)，A組數(shù)據(jù)為舊的策略結(jié)果數(shù)據(jù)。均為偽造數(shù)據(jù)。

分析結(jié)果（Python）：

利用 python 中的 scipy.stats.ttest_ind 做關(guān)于兩組數(shù)據(jù)的雙邊 t 檢驗(yàn)，結(jié)果比較簡(jiǎn)單。但是做大于或者小于的單邊檢測(cè)的時(shí)候需要做一些處理，才能得到正確的結(jié)果。