RBM是一種可以通過重建輸入在數(shù)據(jù)中自動查找模式的方法，包含兩層網(wǎng)絡(luò)，第一層為可見層，第二層為隱藏層?？梢妼又械拿總€節(jié)點(diǎn)都連接到隱藏層中的節(jié)點(diǎn)，由于同一層中沒有兩個節(jié)點(diǎn)共享連接，所以其是受限的。
在前向過程中，RBM接受輸入并將它們轉(zhuǎn)換成對輸入進(jìn)行編碼的一組數(shù)字。在反向過程中，將這組數(shù)字轉(zhuǎn)換后形成重構(gòu)的輸入。
在這兩個步驟中，權(quán)重和偏置具有非常重要的作用，其允許RBM解譯輸入特征之間的相互關(guān)系，并且確定哪些輸入特征是最重要的。
訓(xùn)練過程反復(fù)重復(fù)以下三個步驟。
步驟1：在前向傳遞中，每個輸入與單獨(dú)的權(quán)重和偏置組合，結(jié)果被傳遞到隱藏層。
步驟2：在反向過程中，每個激活與單獨(dú)的權(quán)重和偏置組合，結(jié)果被傳遞到可見層以用于重建。
步驟3：在可見層，使用KL發(fā)散將重建與原始輸入進(jìn)行比較以判斷結(jié)果的質(zhì)量。
使用不同的權(quán)重和偏置重復(fù)步驟1-3，直到重建與輸入盡可能接近。
注意到，RBM實(shí)際上通過調(diào)整權(quán)重和偏置決定了哪些輸入特性是重要的，以及如何將它們組合形成模式。
那么RBM如何能夠提取特征？這與深層信念網(wǎng)絡(luò)有關(guān)。
深層信念網(wǎng)絡(luò)（DBN）在網(wǎng)絡(luò)結(jié)構(gòu)方面，可以被看作是RBM的堆疊，其中一個RBM的隱藏層是其上一層的可見層。
DBN訓(xùn)練過程：第一層RBM被訓(xùn)練以盡可能準(zhǔn)確地重建其輸入，其隱藏層被視為第二層RBM的可見層，并且使用來自第一層RBM的輸出來訓(xùn)練第二層RBM。重復(fù)該過程，直到網(wǎng)絡(luò)中的每一層都被訓(xùn)練。DBN表現(xiàn)好的原因是因?yàn)橐欢裄BM優(yōu)于單個RBM單元。就像多層感知器能夠勝過單個感知器。
為了完成訓(xùn)練，在模式中引入標(biāo)簽，并通過監(jiān)督學(xué)習(xí)來微調(diào)網(wǎng)絡(luò)。權(quán)重和偏置稍微改變，導(dǎo)致網(wǎng)絡(luò)對圖案感知的微小變化，同時(shí)總精度通常會小幅增加。
近年來主導(dǎo)機(jī)器視覺空間，影響深遠(yuǎn)，是深度學(xué)習(xí)AI中最熱門的話題之一，卷積網(wǎng)絡(luò)一直是機(jī)器視覺項(xiàng)目的解決方案。
CNN結(jié)構(gòu)：
第一個組成部分是卷積層。網(wǎng)絡(luò)使用卷積的技術(shù)操作來搜索特定模式?？梢园阉醋魇峭ㄟ^圖像過濾特定模式的過程。該層的權(quán)重和偏置影響操作執(zhí)行的過程。調(diào)整權(quán)重和偏置會影響過濾過程的有效性。CNN具有權(quán)值共享的特性，這意味著過濾器上任何給定的神經(jīng)元都連接到相同數(shù)量的輸入神經(jīng)元，并且具有相同的權(quán)重和偏置。
接下來的兩層是整流線性單元（RELU）和池化層，都有助于由卷積層發(fā)現(xiàn)的簡單模式的建立。卷積層中的每個節(jié)點(diǎn)都連接到一個激活節(jié)點(diǎn)，使用的激活函數(shù)稱為整流線性單元（RELU）。CNN使用反向訓(xùn)練，所以梯度消散仍然是一個問題。但由于RELU能使得梯度在每一層處或多或少保持恒定，所以允許網(wǎng)絡(luò)被適當(dāng)?shù)赜?xùn)練。池化層用于維數(shù)降低。通過引入池化層，確保網(wǎng)絡(luò)僅關(guān)注卷積和RELU發(fā)現(xiàn)的最相關(guān)的模式。
這三個層組合在一起可以發(fā)現(xiàn)復(fù)雜的模式，但網(wǎng)絡(luò)不能理解這些模式是什么。因此，在網(wǎng)絡(luò)末端有全連接層，以便使網(wǎng)絡(luò)具有分類數(shù)據(jù)樣本的能力。
綜上所述，典型的深層CNN具有三層：卷積層，RELU層和池化層，這些層之后連接幾個全連接層以支持分類。
由于CNN是深層網(wǎng)絡(luò)，訓(xùn)練復(fù)雜度高，可能需要使用具有GPU的服務(wù)器進(jìn)行訓(xùn)練；另外是受監(jiān)督的學(xué)習(xí)方法限制，需要大量的用于訓(xùn)練的標(biāo)記數(shù)據(jù)，這在現(xiàn)實(shí)應(yīng)用中也是有挑戰(zhàn)性的。
如果數(shù)據(jù)中的模式隨時(shí)間變化，最好使用循環(huán)神經(jīng)網(wǎng)絡(luò)。RNN結(jié)構(gòu)簡單，內(nèi)置的反饋回路允許它作為一個預(yù)測引擎，其應(yīng)用非常廣泛，從語音識別到無人駕駛汽車。
在前饋神經(jīng)網(wǎng)絡(luò)中，信號僅在一個方向上從輸入到輸出信號，每次傳遞一個層；而在循環(huán)神經(jīng)網(wǎng)絡(luò)中，每層的輸出添加到下一個層入并且被反饋回同一層，該層通常是整個網(wǎng)絡(luò)中的唯一層。
與前饋網(wǎng)不同，循環(huán)網(wǎng)可以接收一系列值作為輸入，并且還可以產(chǎn)生一系列值作為輸出。操作序列的能力使得RNN具有廣泛的應(yīng)用。當(dāng)輸入是單個并且輸出是序列時(shí)，潛在的應(yīng)用是圖像字幕；具有單個輸出的輸入序列可以用于文檔分類；當(dāng)輸入和輸出都是序列時(shí)，可以用來逐幀分類視頻；如果引入時(shí)間延遲，則可以統(tǒng)計(jì)地預(yù)測需求和供應(yīng)鏈方案。
可以將RNN堆疊在彼此之上，形成一個更復(fù)雜的輸出網(wǎng)絡(luò)，然而RNN是極難訓(xùn)練的網(wǎng)絡(luò)。由于RNN使用了反向傳播，也會遇到梯度消失的問題。不幸的是，對于RNN而言，梯度消失呈指數(shù)惡化。其原因是每個時(shí)間步長等同于前饋網(wǎng)絡(luò)中的整個層。有幾種方法來解決該問題。目前最流行的是門控循環(huán)單位（GRU）和長期短期記憶（LSTM）；另外還有梯度剪裁和陡峭門以及其它更好的優(yōu)化方法。
當(dāng)嘗試找出數(shù)據(jù)集的基礎(chǔ)結(jié)構(gòu)時(shí)，自動編碼器非常有用。自動編碼器采用一組通常未標(biāo)記的輸入，并且在對其進(jìn)行編碼后，嘗試盡可能精確地重建它們。因此，網(wǎng)絡(luò)必須確定哪些數(shù)據(jù)特征是最重要的。
自動編碼器通常包括輸入層，輸出層和隱藏層。在前向傳遞方面，有兩個步驟：編碼和解碼。用于編碼隱藏層中的特征的相同權(quán)重會被用于重建輸出層中的圖像。訓(xùn)練使用損失度量網(wǎng)絡(luò)嘗試重建輸入時(shí)丟失的信息量。
并不是所有的自動編碼器都是淺層的，其變體深度自動編碼器在維數(shù)降低方面表現(xiàn)更好，它們的前身是主成分分析（PCA）。
在嘗試發(fā)現(xiàn)一組數(shù)據(jù)的分層結(jié)構(gòu)時(shí)，RNTN表現(xiàn)更好。
RNTN有三個基本組件。分別為父組（根）、子組（葉）以及根與葉之間的連接。每個組是神經(jīng)元的集合，其中神經(jīng)元的數(shù)量取決于輸入數(shù)據(jù)的復(fù)雜性。根連接到所有葉組，但是每個葉之間彼此不連接。從技術(shù)上講，這三個組件形成一個二叉樹。葉組接收輸入，根組使用分類器來給出類別和分?jǐn)?shù)。
RNTN結(jié)構(gòu)看起來很簡單，但其復(fù)雜性來自數(shù)據(jù)在整個網(wǎng)絡(luò)中移動的方式。這是由于其過程是遞歸的。
遞歸示例：輸入一個句子“The car is fast ”，在第一步，將前兩個詞分別輸入葉組1和2。葉組實(shí)際上不接收字，而是字的向量（有序數(shù)字集）表示。當(dāng)兩個向量中的數(shù)字與詞匯中的其他單詞相比較時(shí)，兩個單詞之間的相似性編碼實(shí)現(xiàn)特別好的結(jié)果。兩個向量（由The和Car表示）通過網(wǎng)絡(luò)移動到根，得到兩個值的類別和得分。得分代表當(dāng)前語法分析的質(zhì)量，類別代表當(dāng)前語法分析中結(jié)構(gòu)的編碼。網(wǎng)絡(luò)開始遞歸，在下一步，第一葉組現(xiàn)在接收當(dāng)前解析，第二葉接收句子中的下一個字。之后根組將輸出三個字長的解析分?jǐn)?shù)（“The，Car，Is）。重復(fù)該過程，直到將所有輸入全部解析完畢，并且網(wǎng)絡(luò)具有包含每個單詞的解析樹。這是RNTN的簡化示例并說明了其主要思想。但是在實(shí)際應(yīng)用中，通常對抗更復(fù)雜的遞歸過程。而不是使用句子中的下一個詞用于第二葉組，RNTN將嘗試所有下一個詞，并且最終嘗試表示整個子解析的向量。
一旦網(wǎng)絡(luò)具有最終結(jié)構(gòu)，它通過解析樹回溯以便找出句子的每個部分的正確語法標(biāo)簽。RNTN通過將預(yù)測的句子結(jié)構(gòu)與從一組標(biāo)記的訓(xùn)練數(shù)據(jù)獲得的正確句子結(jié)構(gòu)進(jìn)行比較來用反向傳播訓(xùn)練。一旦訓(xùn)練完畢，網(wǎng)絡(luò)將給與更多類似于其在訓(xùn)練中所解析的樹的結(jié)構(gòu)分?jǐn)?shù)。
在自然語言處理中，RNTN用于語法解析和情感分析，還可用于在含有不同分量的場景中解析圖像。
