李理的博客

XLNet代码分析(四)

本文介绍XLNet的代码的Fine-tuning部分，需要首先阅读第一部分、第二部分和第三部分，读者阅读前需要了解XLNet的原理，不熟悉的读者请先阅读XLNet原理。

Posted by lili on August 16, 2019

基于WFST的语音识别解码器

本系列文章介绍基于WFST的语音识别解码器的理论知识。前面的微软Edx语音识别课程的最后一个实验因为没有足够的理论知识，很难读懂其中的代码，因此本系列文章介绍这些缺失的内容。

8/8更新语音识别系统概述，本文回顾WFST之前的解码器基础知识，便于没有基础的读者了解最基本的Viterbi算法和Beam搜索算法、Word Lattice等基本概念。
8/23更新WFST介绍，本文介绍语音识别里用到的WFST的基本概念，重点介绍WFST的复合、确定化、weight pushing、最小化和ε消除等算法。
9/5更新基于WFST的语音识别解码器算法，本文首先介绍基于WFST的语音识别系统，然后解释语音识别系统的不同模块怎么用WFST来表示以及怎么把这些WFST组织成单一的搜索网络。最后我们介绍使用完全复合后的WFST来进行识别的时间同步Viterbi Beam搜索算法。因为文章内容较长，读者一次阅读内容太多，另外作者更新一次时间也太长，因此以后会完成一部分更新一部分。

Posted by lili on August 8, 2019

对BERT的pretraining改进的几篇文章

本文介绍对于BERT的Pretraining过程进行改进的几篇文章，包括 Pre-Training with Whole Word Masking for Chinese BERT、ERNIE: Enhanced Representation through Knowledge Integration和ERNIE 2.0: A Continual Pre-training Framework for Language Understanding。

注意：这几篇文章都是对BERT模型的Pretraining阶段的Mask进行了不同方式的改进，但是对于BERT模型本身(基于Mask LM的Pretraining、Transformer模型和Fine-tuning)没有做任何修改。因此对于不需要Pretraining的用户来说只要把Google提供的初始模型替换成这些模型就可以直接享受其改进了(百度的ERNIE和ERNIE 2.0是基于PaddlePaddle的，Tensorflow和PyTorch用户需要借助第三方工具进行转换)。

阅读本文前，读者需要了解BERT的基本概念，不熟悉的读者可以先学习BERT课程、BERT模型详解和BERT代码阅读。

Posted by lili on August 2, 2019