最近刷到某乎，看到有小伙伴提問到 「'深度學(xué)習(xí)如何入門，有哪些學(xué)習(xí)資料？'」?？吹竭@里，筆者想整理下一些翻山越嶺，爬坑超車的經(jīng)驗，幫助剛?cè)腴T深度學(xué)習(xí)的小伙伴。如果有想了解機器學(xué)習(xí)入門方法的朋友，可以看我之前寫的機器學(xué)習(xí)入門方法和資料合集。
其實，說實話，深度學(xué)習(xí)是一個很大的概念，經(jīng)?？吹疆厴I(yè)論文，'基于深度學(xué)習(xí)的xxxx'，'基于機器學(xué)習(xí)的xxxxx'。那么到底什么是深度學(xué)習(xí)呢？一般的深度學(xué)習(xí)主要應(yīng)用在這些領(lǐng)域，推薦系統(tǒng)、自然語言處理、圖像處理等等。
所以說，剛?cè)腴T或者想要入門深度學(xué)習(xí)的小伙伴們，可以選擇自己感興趣的方向。當(dāng)然了，這些子領(lǐng)域之間也有一些共性，比如說基礎(chǔ)的一些算法還是要知道的！比如說CNN、RNN、Transorformer。還有一些語言工具，比如說Tensorflow、Pytorch。
1 語言Tensorflow vs Pytorch 到底該選哪個呢？仁者見仁，智者見智。就和選女朋友一樣，沒有最好的，只有最適合你的！
Tensorflow是由Google開源的深度學(xué)習(xí)框架，而Pytorch是由Facebook開源的深度學(xué)習(xí)框架。前者在工業(yè)界用的比較多，而后者最近在學(xué)術(shù)界也是網(wǎng)紅般的存在。這里還有我們國產(chǎn)的深度學(xué)習(xí)框架，百度開源的paddlepaddle框架。
最近Tensorflow和Pytorch均更新了版本，大家可以看看 Tensorflow 2.1 以及 Pytorch 1.4
「官網(wǎng)：」
Tensorflow : https://www.tensorflow.org/versions/r2.0/api_docs/python/tf
Pytorch : https://pytorch.org/docs/1.3.1/
選擇一門語言后，可以看官網(wǎng)的案例，多研究研究官網(wǎng)的案例，很容易掌握這些框架！
Tensorflow 案例：https://www.tensorflow.org/tutorials/
Pytorch 案例：https://pytorch.org/tutorials/
書籍「關(guān)注公眾號'AI算法之心'，后臺回復(fù)'深度',獲取以下書籍PDF版」
書籍一:Deep Learning
深度學(xué)習(xí)理論入門的最經(jīng)典的書籍，該書的英文版 《Deep Learning》 是Goodfellow, Bengio, 和 Courville 三位大師的杰作，英文好可以直接看原版了，英文不好的可以看這本中文譯版 《深度學(xué)習(xí)》 。
「本書首先討論了機器學(xué)習(xí)的基礎(chǔ)知識，包括從學(xué)術(shù)觀點出發(fā)的學(xué)習(xí)深度學(xué)習(xí)（線性代數(shù)、概率論和信息論等）所必需的應(yīng)用數(shù)學(xué)知識。隨后深入探討了當(dāng)前的深度學(xué)習(xí)算法和技術(shù)。在最后，本書重點關(guān)注了當(dāng)前的深度學(xué)習(xí)的研究趨勢和深度學(xué)習(xí)領(lǐng)域的新動向。」
書籍二：動手學(xué)深度學(xué)習(xí)
李沐老師的 《動手學(xué)深度學(xué)習(xí)》 ，英文版叫 Dive into Deep Learning 。這本書是沐神和三位亞馬遜的同事合寫的。這本書對于 零基礎(chǔ)的朋友是非常有意義的 ，是可以從零開始的那種，且注重實踐，每一小節(jié)都有Jupyter Notebook可以運行。
唯一的缺點就是這本書使用MXnet遍寫，好在Github開源Tensorflow 2.0編寫的動手學(xué)習(xí)深度學(xué)習(xí)。最近也出了Pytorch版本的動手學(xué)深度學(xué)習(xí)。
Tensorflow 2.0版本鏈接：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0
Pytorch 版本鏈接：https://github.com/ShusenTang/Dive-into-DL-PyTorch
「全書的內(nèi)容分為3個部分：第一部分介紹深度學(xué)習(xí)的背景，提供預(yù)備知識，并包括深度學(xué)習(xí)基礎(chǔ)的概念和技術(shù)；第二部分描述深度學(xué)習(xí)計算的重要組成部分，還解釋近年來令深度學(xué)習(xí)在多個領(lǐng)域大獲成功的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)；第三部分評價優(yōu)化算法，檢驗影響深度學(xué)習(xí)計算性能的重要因素，并分別列舉深度學(xué)習(xí)在計算機視覺和自然語言處理中的重要應(yīng)用。」
書籍三: Neural Networks and Deep Learning
《Neural Networks and Deep Learning》 是 Michael Nielsen 的著作。同樣地，這本書也是主要講解深度學(xué)習(xí)理論，也提供了相應(yīng)的Python代碼。此書相比 Goodfellow 的《Deep Learning》更加易讀，并且 Nielsen 的寫作風(fēng)格配上書中的代碼片段也使得讀完這本書更加容易。
在本書官網(wǎng)上可免費閱讀電子版：http://neuralnetworksanddeeplearning.com/ 另外網(wǎng)上也有分享的對應(yīng)中文版資源，配套的代碼鏈接：https://github.com/MichalDanielDobrzanski/DeepLearningPython35
書籍四：Deep Learning with Python
Keras之父、Google AI研究員Francois Chollet執(zhí)筆的深度學(xué)習(xí)領(lǐng)域著作《Deep Learning with Python》。這本書從實踐者的角度講解深度學(xué)習(xí)，雖然書中也提到了一些理論知識，但是每隔幾個段落，都會教你如何用 Keras 去實現(xiàn)相關(guān)技術(shù)。
「Francois 在書中提供了許多將深度學(xué)習(xí)應(yīng)用于計算機視覺、文本、序列等方面的例子，對于想要在學(xué)習(xí)機器學(xué)習(xí)和深度學(xué)習(xí)的同時也了解 Keras 的讀者來說，這本書涵蓋的內(nèi)容非常全面。本書內(nèi)容不僅簡潔易懂，而且作者對于深度學(xué)習(xí)的趨勢和歷史的一些看法同樣令人印象深刻。需要注意的是這本書并不是一本非常深入的深度學(xué)習(xí)書籍，它最重要的作用在于通過使用 Keras 庫寫一些各種各樣實際的深度學(xué)習(xí)示例來教你領(lǐng)會深度學(xué)習(xí)的基礎(chǔ)概念。」
視頻CMU2020春季深度學(xué)習(xí)課程
「官方介紹：」 以深度神經(jīng)網(wǎng)絡(luò)為代表的“深度學(xué)習(xí)”系統(tǒng)正越來越多地接管所有AI任務(wù)，從語言理解，語音和圖像識別到機器翻譯，規(guī)劃，甚至游戲和自動駕駛。結(jié)果，在許多高級學(xué)術(shù)環(huán)境中，深度學(xué)習(xí)的專長正在從深奧的理想變?yōu)閺娭菩缘南葲Q條件，并且在工業(yè)就業(yè)市場中具有很大的優(yōu)勢。
在本課程中，我們將學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識及其在各種AI任務(wù)中的應(yīng)用。預(yù)計到課程結(jié)束時，學(xué)生將對該主題有充分的了解，并且能夠?qū)⑸疃葘W(xué)習(xí)應(yīng)用于各種任務(wù)。他們還將有資格了解有關(guān)該主題的許多當(dāng)前文獻(xiàn)，并通過進(jìn)一步的學(xué)習(xí)來擴展其知識。
課程官方鏈接：http://deeplearning.cs.cmu.edu/
斯坦福CS230深度學(xué)習(xí)課程
「官方介紹：」 深度學(xué)習(xí)是AI中最受追捧的技能之一。在本課程中，將學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)，了解如何構(gòu)建神經(jīng)網(wǎng)絡(luò)，并學(xué)習(xí)如何領(lǐng)導(dǎo)成功的機器學(xué)習(xí)項目。將了解CNN， RNN， LSTM， Adam， Dropout， BatchNorm等。
課程官方鏈接：https://web.stanford.edu/class/cs230/
臺大李宏毅深度學(xué)習(xí)課程國立臺灣大學(xué)李宏毅教授主講的深度學(xué)習(xí)(包含機器學(xué)習(xí))的視頻，純中文版，相比前面的英文版更好理解，課程相關(guān)的部分資源已經(jīng)relaease出來了，今年課程新增了很多新的前沿的內(nèi)容，分享給大家。
課程官方鏈接：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html
Paper隨著深度學(xué)習(xí)的火熱，各大頂會頂刊的accepte Paper也隨之飆升。如果想了解最前言的深度學(xué)習(xí)理論和方向，Paper是不可或缺的一部分。
那么看哪些方向的頂會呢？CCF 推薦的會議期刊了解一下。
綜合性的人工智能頂會：AAAI，NeurIPS(NIPS)，ICML，COLT，IJCAI，ECAI等
自然語言處理方向：ACL,EMNLP,COLING,NAACL等
計算機視覺方向：ICCV，CVPR，ECCV，SIGGRAPH等
信息檢索方向：SIGIR，WSDM，CIKM
數(shù)據(jù)挖掘方向：SIGKDD，ICDE，ICDM，ECML-PKDD等
「如何查找最近幾年的頂會paper呢？」 Google搜索了解下！比如'AAAI 2020的論文'
學(xué)習(xí)深度學(xué)習(xí)的過程中，如何檢驗自己學(xué)習(xí)的成果呢？除了寫出高水平的論文， 比賽就是一個比較好的方向，比賽其實可能會為了成績，摳那千分位，百分位的差距，但是其實在比賽中思考才是最重要的。如何將這些經(jīng)典的算法應(yīng)用到工業(yè)中，這些算法在工業(yè)中的優(yōu)缺點？慢慢體會！
國內(nèi)比較大型的算法平臺有： 天池大數(shù)據(jù)：https://tianchi.aliyun.com/home/datacastle：http://www.pkbigdata.com/datafountain：https://www.datafountain.cn/biendata：https://biendata.com/kesci：https://www.kesci.com/Jdata: https://jdata.jd.com/......
國外比較大型的算法平臺有：kaggle：https://www.kaggle.com/Colab: https://competitions.codalab.org/......
