下面就列舉了幾篇運用CNN進行文本分類的論文作為總結(jié)。

1 yoon kim 的《Convolutional Neural Networks for Sentence Classification》。（2014 Emnlp會議）

 
他用的結(jié)構(gòu)比較簡單，就是使用長度不同的 filter 對文本矩陣進行卷積，filter的寬度等于詞向量的長度，然后使用max-pooling 對每一filter提取的向量進行操作，最后每一個filter對應(yīng)一個數(shù)字，把這些filter拼接起來，就得到了一個表征該句子的向量。最后的預(yù)測都是基于該句子的。該模型作為一個經(jīng)典的模型，作為很多其他改領(lǐng)域論文里實驗參照。

2 《A Convolutional Neural Network for Modelling Sentences》（2014 ACL會議） 

這個模型看起來就相對復(fù)雜一些，不過其基礎(chǔ)也是基于卷積的。每一層的卷積操作之后同樣會跟上一個max pooling操作。整個模型操作相對于上面的那個模型比較繁瑣，同時我有以下幾個比較質(zhì)疑的地方： 
1 倒數(shù)第二到倒數(shù)第三層使用了k-max 的pooling操作，也就是說第三層中相鄰的詞語對應(yīng)于原來的句子可能不再是相鄰的，而且它們只有相對的先后關(guān)系保存了下來。倒數(shù)第三層中不同卷積平面對應(yīng)的詞語在原句子中可能處于不同的位置，甚至是不同的詞語，因此倒數(shù)第三道倒數(shù)第四之間的卷積是沒有意義的。

2 關(guān)于這里的folding操作。把同一個詞語向量的不用維度之間進行加法操作，這樣原文里是這樣解釋的“With a folding layer, a feature detector of the i-th order depends now on two rows of feature values in the lower maps of order i -1.”。但是這樣的操作有意義嗎？？從來沒有見人提到用過，也許我們未來可以探索一下這樣是否能夠提高卷積器的性能。

3《A C-LSTM Neural Network for Text Classification》（arXiv preprint arXiv） 

 
其實這篇論文里只是用cnn對原文的詞向量以某一長度的filter進行卷積抽象，這樣原來的純粹詞向量序列就變成了經(jīng)過卷積的抽象含義序列。最后對原句子的encoder還是使用lstm，由于使用了抽象的含義向量，因此其分類效果將優(yōu)于傳統(tǒng)的lstm，這里的cnn可以理解為起到了特征提取的作用。

4 《Recurrent Convolutional Neural Networks for Text Classification》（2015 AAAi會議） 

 
正如標題所說的，把lstm和cnn結(jié)合起來了，不過這個結(jié)合的方式和上面的不一樣。舉例來說對于詞序列: A B C D E F來說，在形成C詞的向量化表示的時候，使用的不再僅僅是C的word embedding，而是C左邊的內(nèi)容構(gòu)成的向量和C以及C右邊內(nèi)容構(gòu)成的向量的拼接形式。由于使用到了左右兩邊的內(nèi)容故使用的是雙向的Lstm。然后如圖中所示使用1-d convolution的方式得到一系列的y，最后經(jīng)過max-pooling的方式得到整個句子的向量化表示，最后的預(yù)測也是基于該句子的。

5 《Learning text representation using recurrent convolutional neural network with highway layers》（arXiv preprint arXiv） 

 
這個模型幾乎就是稍微的更改了一下4中的模型，只不過在C向量拼接完畢將要進行卷積操作之前經(jīng)過了一個highway而已。（本人對于僅僅加了一個highway就能提高模型準確率的做法感到十分懷疑，畢竟這個網(wǎng)絡(luò)的層數(shù)并不深）

原文鏈接:http://blog.csdn.net/guoyuhaoaaa/article/details/53188918