人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，機(jī)器學(xué)習(xí)又是人工智能的一個(gè)子領(lǐng)域。AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問題的10個(gè)強(qiáng)大的深度學(xué)習(xí)方法，包括反向傳播、隨機(jī)梯度下降、學(xué)習(xí)率衰減、Dropout、最大池化、批量歸一化、長(zhǎng)短時(shí)記憶、Skip-gram、連續(xù)詞袋、遷移學(xué)習(xí)等。
1、 反向傳播
反向傳播（Back-prop）是一種計(jì)算函數(shù)偏導(dǎo)數(shù)（或梯度）的方法，具有函數(shù)構(gòu)成的形式（就像神經(jīng)網(wǎng)絡(luò)中）。當(dāng)使用基于梯度的方法（梯度下降只是方法之一）解決優(yōu)化問題時(shí)，你需要在每次迭代中計(jì)算函數(shù)梯度。
對(duì)于神經(jīng)網(wǎng)絡(luò)，目標(biāo)函數(shù)具有組合的形式。如何計(jì)算梯度呢？有兩種常用的方法：a、解析微分（Analytic differentiation）。你已經(jīng)知道函數(shù)的形式，只需要用鏈?zhǔn)椒▌t（基本微積分）來計(jì)算導(dǎo)數(shù)。b、利用有限差分進(jìn)行近似微分。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過，有限差分通常用于在調(diào)試時(shí)驗(yàn)證back-prop實(shí)現(xiàn)。
2、 隨機(jī)梯度下降法
一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端（山腳）。
現(xiàn)在，如果山的地形是這樣的，在到達(dá)最終目的地之前，河流不會(huì)完全停下來（這是山腳的最低點(diǎn)，那么這就是我們想要的理想情況。）在機(jī)器學(xué)習(xí)中，相當(dāng)從初始點(diǎn)（山頂）開始，我們找到了解決方案的全局最小（或最佳）解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個(gè)坑，這可能迫使河流陷入困境。在機(jī)器學(xué)習(xí)術(shù)語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個(gè)問題。
因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)（用ML的術(shù)語來說是函數(shù)的性質(zhì))。但是，當(dāng)你有一種特殊的地形時(shí)（形狀像一個(gè)碗，用ML的術(shù)語來說，叫做凸函數(shù)），算法總是保證能找到最優(yōu)解。凸函數(shù)對(duì)ML的優(yōu)化來說總是好事，取決于函數(shù)的初始值，你可能會(huì)以不同的路徑結(jié)束。同樣地，取決于河流的速度（即，梯度下降算法的學(xué)習(xí)速率或步長(zhǎng)），你可能以不同的方式到達(dá)最終目的地。這兩個(gè)標(biāo)準(zhǔn)都會(huì)影響到你是否陷入坑里（局部極小值）。
3、 學(xué)習(xí)率衰減
根據(jù)隨機(jī)梯度下降的優(yōu)化過程調(diào)整學(xué)習(xí)率（learning rate）可以提高性能并減少訓(xùn)練時(shí)間。 有時(shí)這被稱為學(xué)習(xí)率退火（ learning rate annealing）或自適應(yīng)學(xué)習(xí)率（adaptive learning rates）。訓(xùn)練過程中最簡(jiǎn)單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時(shí)間的推移而降低學(xué)習(xí)度。 在訓(xùn)練過程開始時(shí)使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對(duì)權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果。
兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：逐步降低學(xué)習(xí)率、在特定的時(shí)間點(diǎn)較大地降低學(xué)習(xí)率。
4?、 Dropout
具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過擬合在這樣的網(wǎng)絡(luò)中是一個(gè)嚴(yán)重的問題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測(cè)試時(shí)將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)合起來變得困難。Dropout是解決這個(gè)問題的一種方法。
Dropout 的關(guān)鍵想法是在訓(xùn)練過程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units（以及它們的連接）從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過度適應(yīng)。在訓(xùn)練過程中，從一個(gè)指數(shù)級(jí)的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測(cè)試時(shí)，通過簡(jiǎn)單地使用一個(gè)具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測(cè)效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進(jìn)。研究表明，在視覺、語音識(shí)別、文檔分類和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。
5、 Max Pooling
最大池化（Max pooling）是一個(gè)基于樣本的離散化過程。目標(biāo)是對(duì)輸入表示（圖像，隱藏層輸出矩陣等）進(jìn)行下采樣，降低其維度，并允許對(duì)包含在分區(qū)域中的特征進(jìn)行假設(shè)。
這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時(shí)，它通過減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性（translation invariance），從而減少計(jì)算成本。最大池化是通過將一個(gè)最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的。
6、 批量歸一化
當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)。
權(quán)重問題：無論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)。考慮一個(gè)小批量（mini batch），在最初時(shí)，在所需的特征激活方面將會(huì)有許多異常值。
深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個(gè)微小的擾動(dòng)，就會(huì)導(dǎo)致后面層巨大的變化。在反向傳播過程中，這些現(xiàn)象會(huì)導(dǎo)致對(duì)梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時(shí)間才能收斂。
批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(biāo)（通過歸一化）流動(dòng)。
學(xué)習(xí)率問題：一般來說，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程。
7、 長(zhǎng)短時(shí)記憶
LSTM網(wǎng)絡(luò)在以下三個(gè)方面與RNN的神經(jīng)元不同：
能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；
能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；
能夠決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步長(zhǎng)。
LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來決定所有這些。所以，你看下面的圖表：
當(dāng)前時(shí)間標(biāo)記處的輸入信號(hào)x（t）決定所有上述3點(diǎn)。輸入門從點(diǎn)1接收決策，遺忘門從點(diǎn)2接收決策，輸出門在點(diǎn)3接收決策，單獨(dú)的輸入能夠完成所有這三個(gè)決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場(chǎng)景切換。
8、 Skip-gram
詞嵌入模型的目標(biāo)是為每個(gè)詞匯項(xiàng)學(xué)習(xí)一個(gè)高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。
Skip-gram模型（以及許多其他的詞語嵌入模型）的主要思想是：如果兩個(gè)詞匯項(xiàng)（vocabulary term）共享的上下文相似，那么這兩個(gè)詞匯項(xiàng)就相似。
換句話說，假設(shè)你有一個(gè)句子，比如“貓是哺乳動(dòng)物”。如果你用“狗”去替換“貓”，這個(gè)句子仍然是一個(gè)有意義的句子。因此在這個(gè)例子中，“狗”和“貓”可以共享相同的上下文（即“是哺乳動(dòng)物”）。
基于上述假設(shè)，你可以考慮一個(gè)上下文窗口（context window，一個(gè)包含k個(gè)連續(xù)項(xiàng)的窗口），然后你跳過其中一個(gè)單詞，試著去學(xué)習(xí)一個(gè)能夠得到除跳過項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)跳過的項(xiàng)是什么。如果兩個(gè)詞在一個(gè)大語料庫中反復(fù)共享相似的語境，則這些詞的嵌入向量將具有相近的向量。
9、 連續(xù)詞袋（Continuous Bag Of Words）
在自然語言處理問題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為一個(gè)數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測(cè)特定單詞。
我們通過在一個(gè)龐大的語料庫中抽取大量的句子來做到這一點(diǎn)，每當(dāng)我們看到一個(gè)單詞時(shí)，我們就會(huì)提取它周圍的單詞。然后，我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)位于這個(gè)上下文中心的單詞。
當(dāng)我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對(duì)大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類似語境中的單詞得到的是相似的向量。
10、 遷移學(xué)習(xí)
讓我們考慮圖像如何穿過卷積神經(jīng)網(wǎng)絡(luò)。假設(shè)你有一個(gè)圖像，你應(yīng)用卷積，并得到像素的組合作為輸出。假設(shè)這些輸出是邊緣（edge）。現(xiàn)在再次應(yīng)用卷積，現(xiàn)在你的輸出就是邊或線的組合。然后再次應(yīng)用卷積，你的輸出是線的組合，以此類推……你可以把它看作是每一層尋找一個(gè)特定的模式。神經(jīng)網(wǎng)絡(luò)的最后一層往往會(huì)變得非常特異化。如果你在ImageNet上工作，你的網(wǎng)絡(luò)最后一層大概就是在尋找兒童、狗或飛機(jī)等整體圖案。再往后倒退幾層，你可能會(huì)看到網(wǎng)絡(luò)在尋找眼睛或耳朵或嘴巴或輪子這樣的組成部件。
深度CNN中的每一層都逐步建立起越來越高層次的特征表征。最后幾層往往是專門針對(duì)輸入模型的數(shù)據(jù)。另一方面，早期的圖層更為通用。而遷移學(xué)習(xí)就是當(dāng)你在一個(gè)數(shù)據(jù)集上訓(xùn)練CNN時(shí)，切掉最后一層，在不同的數(shù)據(jù)集上重新訓(xùn)練最后一層的模型。直觀地說，你正在重新訓(xùn)練模型以識(shí)別不同的高級(jí)特征。因此，訓(xùn)練時(shí)間會(huì)減少很多，所以當(dāng)你沒有足夠的數(shù)據(jù)或者訓(xùn)練需要太多的資源時(shí)，遷移學(xué)習(xí)是一個(gè)有用的工具。
文章來源： 戴客
