本文是作者即将在CSDN作直播的课程的预备知识，对课程感兴趣但是没有相关背景知识的同学可以提前学习这些内容。新增课程slides和视频回放地址。
目录
- 课程视频和slides
- 背景知识
- 深度学习基础知识
- Word Embedding
- 语言模型
- RNN/LSTM/GRU、Seq2Seq和Attention机制
- Tensorflow基础知识
- PyTorch基础知识
- BERT
课程视频和slides
背景知识
为了理解课程的内容，读者需要以下背景知识。
- 深度学习基础知识
- Word Embedding
- 语言模型
- RNN/LSTM/GRU
- Seq2Seq模型
- Attention机制
- Tensorflow基础知识
- PyTorch基础知识
深度学习基础知识
-
从Image Caption Generation理解深度学习（part I）
介绍机器学习和深度学习的基本概念。
-
从Image Caption Generation理解深度学习（part II）
介绍多层神经网络(DNN)的基本概念
-
从Image Caption Generation理解深度学习（part III）
介绍反向传播算法，不感兴趣的读者可以跳过细节。
-
建议了解一下就行，自动梯度是深度学习框架的基础。我们通常不需要实现反向算法，因为框架通常帮我们做了，但是了解一下它的原理是有用的。
-
内容主要参考CS231N课程的Notes，还是介绍自动梯度。
-
使用自动梯度实现多层神经网络，对怎么自己实现自动梯度感兴趣的读者可以参考，不感兴趣的可以跳过。
-
卷积神经网络的介绍。
-
Theano tutorial和卷积神经网络的Theano实现 Part1
卷积神经网络的实现，代码实现是用theano的，建议了解一下就行。现在更建议使用Tensorflow或者PyTorch。
-
Theano tutorial和卷积神经网络的Theano实现 Part2
同上。
-
卷积神经网络之Batch Normalization的原理及实现
介绍Batch Normalization。读者了解一下原理即可，现在的框架都有现成的。
-
Dropout是最常见也最有用的防止过拟合的技巧之一。
-
自动动手实现CNN，并且实现常见的CNN架构——VGG。比较关注实现细节，不感兴趣的读者可以跳过。
-
训练ImageNet的过程可以跳过，因为现在很少需要自己从零开始训练ImageNet了，大部分框架都有Pretraining好的模型。读者可以了解一下ResNet和Inception，后面的BERT也使用到了残差连接，在如今(2019年)这是非常常用的技巧了。
-
Neural Networks and Deep Learning
Michael Nielsen的免费书籍，作者前面的文章参考了很多里面的内容。有兴趣的读者可以阅读一下，大部分内容前面已经介绍过了，因此也可以跳过。
-
斯坦福的课程，作者的文章也参考了一些内容。有兴趣的读者可以学习一下，跳过不影响对课程的理解。
Word Embedding
-
理解Word Embedding的概念即可，跳过Word2Vec的推导、Softmax和Negative Sample并不影响后续阅读。
语言模型
-
理解语言模型的概念即可，N-Gram可以稍微了解一下，平滑和回退等tricky可以跳过，RNN语言模型需要RNN的知识，请参考RNN/LSTM/GRU的部分。
RNN/LSTM/GRU、Seq2Seq和Attention机制
-
介绍vanilla RNN、LSTM和GRU的基本概念。
-
包含PyTorch的基本概念，包括用RNN来进行人名国家分类，生成不同国家的人名。本来还有一个看图说话的例子，但是编辑似乎忘了加进去。
-
使用PyTorch实现一个机器翻译系统，包括LSTM/GRU、Attention机制等内容。
-
使用PyTorch实现一个Chatbot。里面会涉及Seq2Seq模型和Attention机制。
Tensorflow基础知识
-
Tensorflow的基础知识，熟悉的读者也建议读读，也许会有新的收获。
PyTorch基础知识
-
来自官网的教程，包含60分钟PyTorch教程、通过例子学PyTorch和迁移学习教程。
BERT
下面的内容会在课程上详细讲解，但是建议同学们提前预习一下。
-
通过图解详细的介绍Transformer的原理。
-
详细解读Transformer的代码。
-
本文详细介绍BERT模型的原理，包括相关的ELMo和OpenAI GPT模型。
-
详细解读BERT模型的代码。
- 显示Disqus评论(需要科学上网)