BERT课程 - 李理的博客

本文是作者即将在CSDN作直播的课程的预备知识，对课程感兴趣但是没有相关背景知识的同学可以提前学习这些内容。新增课程slides和视频回放地址。

课程视频和slides
背景知识
深度学习基础知识
Word Embedding
语言模型
RNN/LSTM/GRU、Seq2Seq和Attention机制
Tensorflow基础知识
PyTorch基础知识
BERT

课程视频和slides

回放视频地址是这里。课程的slides可以在这里下载。

背景知识

为了理解课程的内容，读者需要以下背景知识。

深度学习基础知识
Word Embedding
语言模型
RNN/LSTM/GRU
Seq2Seq模型
Attention机制
Tensorflow基础知识
PyTorch基础知识

深度学习基础知识

从Image Caption Generation理解深度学习（part I）

介绍机器学习和深度学习的基本概念。
从Image Caption Generation理解深度学习（part II）

介绍多层神经网络(DNN)的基本概念
从Image Caption Generation理解深度学习（part III）

介绍反向传播算法，不感兴趣的读者可以跳过细节。
自动梯度求解——反向传播算法的另外一种视角

建议了解一下就行，自动梯度是深度学习框架的基础。我们通常不需要实现反向算法，因为框架通常帮我们做了，但是了解一下它的原理是有用的。
自动梯度求解——cs231n的notes

内容主要参考CS231N课程的Notes，还是介绍自动梯度。
自动梯度求解——使用自动求导实现多层神经网络

使用自动梯度实现多层神经网络，对怎么自己实现自动梯度感兴趣的读者可以参考，不感兴趣的可以跳过。
详解卷积神经网络

卷积神经网络的介绍。
Theano tutorial和卷积神经网络的Theano实现 Part1

卷积神经网络的实现，代码实现是用theano的，建议了解一下就行。现在更建议使用Tensorflow或者PyTorch。
Theano tutorial和卷积神经网络的Theano实现 Part2

同上。
卷积神经网络之Batch Normalization的原理及实现

介绍Batch Normalization。读者了解一下原理即可，现在的框架都有现成的。
卷积神经网络之Dropout

Dropout是最常见也最有用的防止过拟合的技巧之一。
三层卷积网络和vgg的实现

自动动手实现CNN，并且实现常见的CNN架构——VGG。比较关注实现细节，不感兴趣的读者可以跳过。
Caffe训练ImageNet简介及深度卷积网络最新技术

训练ImageNet的过程可以跳过，因为现在很少需要自己从零开始训练ImageNet了，大部分框架都有Pretraining好的模型。读者可以了解一下ResNet和Inception，后面的BERT也使用到了残差连接，在如今(2019年)这是非常常用的技巧了。
Neural Networks and Deep Learning

Michael Nielsen的免费书籍，作者前面的文章参考了很多里面的内容。有兴趣的读者可以阅读一下，大部分内容前面已经介绍过了，因此也可以跳过。
CS231N课程

斯坦福的课程，作者的文章也参考了一些内容。有兴趣的读者可以学习一下，跳过不影响对课程的理解。

Word Embedding

Word Embedding教程

理解Word Embedding的概念即可，跳过Word2Vec的推导、Softmax和Negative Sample并不影响后续阅读。

语言模型

语言模型教程

理解语言模型的概念即可，N-Gram可以稍微了解一下，平滑和回退等tricky可以跳过，RNN语言模型需要RNN的知识，请参考RNN/LSTM/GRU的部分。

RNN/LSTM/GRU、Seq2Seq和Attention机制

循环神经网络简介

介绍vanilla RNN、LSTM和GRU的基本概念。
手把手教你用PyTorch实现图像描述

包含PyTorch的基本概念，包括用RNN来进行人名国家分类，生成不同国家的人名。本来还有一个看图说话的例子，但是编辑似乎忘了加进去。
手把手教你搭一个机器翻译模型

使用PyTorch实现一个机器翻译系统，包括LSTM/GRU、Attention机制等内容。
使用PyTorch实现Chatbot

使用PyTorch实现一个Chatbot。里面会涉及Seq2Seq模型和Attention机制。

Tensorflow基础知识

Tensorflow简明教程

Tensorflow的基础知识，熟悉的读者也建议读读，也许会有新的收获。

PyTorch基础知识

PyTorch简明教程

来自官网的教程，包含60分钟PyTorch教程、通过例子学PyTorch和迁移学习教程。

BERT

下面的内容会在课程上详细讲解，但是建议同学们提前预习一下。

Transformer图解

通过图解详细的介绍Transformer的原理。
Transformer代码阅读

详细解读Transformer的代码。
BERT模型详解

本文详细介绍BERT模型的原理，包括相关的ELMo和OpenAI GPT模型。
BERT代码阅读

详细解读BERT模型的代码。

FEATURED TAGS

人工智能深度学习 chatbot PyTorch Java BERT git 编程 OCR 汪曾祺语音识别 Kaldi Linux XLNet 情感分析 sentiment analysis 语法纠错 Transformer Tensorflow Huggingface Ubuntu TensorFlow 深度学习框架 Tensor2Tensor 机器翻译微信 wechat automation selenium webdriver pywinauto CentOS GPU Appium t2t 代码阅读中英翻译公众号爬虫 ocr tesseract pytesseract python 默认参数位置参数 VPN JSON Jackson huggingface PagedAttention vLLM Pre-training LLM CPT weather forecasting graph neural networks qlora quantization transformers cmake pip pipenv conda padding vscode debug source code build deep learning Speech ASR linux pytorch extension Deep Learning

FRIENDS

Li Li