Ai模型的評(píng)估
之前文章標(biāo)題取得太隨意了，從這一篇開(kāi)始改一下。
上一篇說(shuō)到Ai模型與傳統(tǒng)量化模型的區(qū)別，那么Ai模型一定比傳統(tǒng)量化模型好嗎？不見(jiàn)得。
判斷模型好壞，還是要設(shè)立一個(gè)評(píng)估方法。有了評(píng)估方法，才能進(jìn)行比較。
評(píng)估方法可以簡(jiǎn)單到只有一個(gè)指標(biāo)，也可以設(shè)計(jì)得更加復(fù)雜。假如只有一個(gè)指標(biāo)，那么最常用的就是準(zhǔn)確率(Accuracy）。在傳統(tǒng)量化模型中，模型輸出的是預(yù)期會(huì)上漲的股票，那么準(zhǔn)確率指的就是在一段時(shí)間內(nèi)，對(duì)股票漲跌判斷正確的比例。
用準(zhǔn)確率的時(shí)候要注意幾點(diǎn)：
分母要一致，這樣才有比較的基礎(chǔ)。
股票池不能太小，股票池太小，就沒(méi)有統(tǒng)計(jì)價(jià)值
時(shí)間不能太短，同樣時(shí)間太短的話，就沒(méi)有統(tǒng)計(jì)價(jià)值。
基于這幾點(diǎn)，可以這么設(shè)計(jì)，100個(gè)股票的股票池，2年的交易日，評(píng)估其準(zhǔn)確率。如果做指數(shù)的模型，那么股票池就一個(gè)指數(shù)，那就只能把時(shí)間拉長(zhǎng)了。
對(duì)于Ai模型，其實(shí)是一樣的，100個(gè)股票的股票池，每天預(yù)測(cè)，最后做統(tǒng)計(jì)，用判斷對(duì)的股票數(shù)量除以2年的總數(shù)即可。
做Ai模型的時(shí)候，有訓(xùn)練集，測(cè)試集，還有用于回測(cè)的數(shù)據(jù)集。在傳統(tǒng)的量化模型中，沒(méi)有訓(xùn)練集，有人把測(cè)試集和回測(cè)數(shù)據(jù)集合并，做出模型后直接進(jìn)行回測(cè)，然后根據(jù)回測(cè)結(jié)果去調(diào)整各種參數(shù)，然后再回測(cè)，這種方式是錯(cuò)誤的。
正確的做法是，同樣要設(shè)定測(cè)試數(shù)據(jù)集和回測(cè)數(shù)據(jù)集，用測(cè)試集來(lái)評(píng)估模型的準(zhǔn)確率，達(dá)標(biāo)之后再去回測(cè)。這些數(shù)據(jù)集也是有一些講究的，這些講究我將在后面講數(shù)據(jù)集的時(shí)候再詳細(xì)講。
上一篇的例子中提到，傳統(tǒng)的量化選出20個(gè)要上漲的股票后，可能會(huì)進(jìn)一步地篩選，找出更好的股票。那么有必要對(duì)這一部分股票進(jìn)行評(píng)估。這一部分的股票數(shù)量不定，評(píng)估起來(lái)比較麻煩，可以通過(guò)選出的數(shù)量和準(zhǔn)確率同時(shí)進(jìn)行評(píng)估。比較理想的狀態(tài)當(dāng)然是數(shù)量又多，準(zhǔn)確率又高，但是現(xiàn)實(shí)往往相反。
數(shù)量也不能太少，太少則有可能是擬合了某些特定的行情，從而在未來(lái)的實(shí)戰(zhàn)中效果大打折扣。所以在數(shù)量和準(zhǔn)確率上面要取得一個(gè)平衡。
Ai模型往往是通過(guò)概率進(jìn)行排序，有的人會(huì)選取某個(gè)概率之上的股票來(lái)評(píng)估，但是這又犯了第一個(gè)錯(cuò)誤，就是分母不一致。為了分母一樣多，需要用到分位數(shù)。
AUC也是一個(gè)很好的評(píng)估指標(biāo)，AUC的意義是正樣本被預(yù)測(cè)為正的概率（預(yù)測(cè)對(duì)了）大于負(fù)樣本被預(yù)測(cè)為正例（預(yù)測(cè)錯(cuò)了）的概率。在量化中，這個(gè)值越大，就是本來(lái)要漲的股票確實(shí)被模型預(yù)測(cè)出為漲的概率越高。我還嘗試過(guò)很多其他的評(píng)估方式，最后還是返璞歸真，覺(jué)得最簡(jiǎn)單，最質(zhì)樸的指標(biāo)比如Acc，Auc才是最有用的。
評(píng)估出來(lái)的值不是很高也不要?dú)怵H，我也見(jiàn)過(guò)不少評(píng)估值不高的模型，但還能賺錢(qián)。關(guān)鍵在于怎么使用模型的輸出，這點(diǎn)其實(shí)比模型更重要。
