本文介绍XLNet的代码的第三部分,需要首先阅读第一部分和第二部分,读者阅读前需要了解XLNet的原理,不熟悉的读者请先阅读XLNet原理。
Posted by lili on July 20, 2019
Posted by lili on July 14, 2019
本文是发表在CSDN的《人工智能六十年技术简史》的草稿,因为最早是网页的形式,参考文献直接作为了链接,没有像传统的论文一样在后面给出参考文献的详细信息。但是发到微信公众号后文中的链接都去掉了。读者自己寻找这些论文可能比较不方便,所以把这篇草稿也发出来。
Posted by lili on July 8, 2019
本文介绍XLNet的基本原理,读者阅读前需要了解BERT等相关模型,不熟悉的读者建议学习BERT课程。
Posted by lili on June 30, 2019
本文介绍XLNet的代码,读者阅读前需要了解XLNet的原理,不熟悉的读者请先阅读XLNet原理。
Posted by lili on June 30, 2019
本系列文章分析Kaldi的源代码(6/22更新MFCC特征提取)。
Posted by lili on June 22, 2019
记录一下常见工具的用法。目前包括:命令行设置各种代理服务器的方法;ssh的各种用法;git上传大文件的方法。
Posted by lili on June 21, 2019
用sort对文件排序,发现这个命令比想象中要复杂和强大,仔细研究了一下文档,记录一下。
Posted by lili on June 15, 2019
本系列文章是作者学习微软在Edx上的语音识别课程DEV287x的笔记。
(6/6增加模块三:声学模型;6/15增加模块四:语言模型;7/15增加模块五:解码器)
这是一个非常好的课程,尤其是实验的设计,通过实际的代码让我们一步步完成特征提取;神经网络声学模型训练;语言模型训练和基于WFST的解码器实现。
我在《深度学习理论与实战:提高篇》里虽然介绍了语音识别的基础理论,也试图提供实战的例子,比如HMM和WFST代码示例、Kaldi简介和DeepSpeech理论与实战等内容。但是这些例子都是孤零零没有联系的,读者很难了解全貌,那本书中缺乏一个完整的从头到尾的基于WFST的HMM-DNN的例子。虽然End-to-end的语音识别系统在是学术界研究的重点,但是目前业界流行的还是HMM-DNN的基于WFST解码器的系统。在那本书里没有介绍WFST尤其是解码器的代码,只是简单的介绍了流行的Kaldi系统的用法,但是Kaldi的代码过于复杂,不适合初学者了解WFST的基本原理。
最近找到了这个课程,花时间学习了一遍,觉得这个课程的例子非常好,因此借这个课程把之前那本书的缺陷弥补一下。另外这个课程的理论讲到太少了,比如WFST的解码器,只是提供了代码,而没有任何介绍,这让学习者很难看懂其中的代码,因此我也对其中不够详细的地方做一些补充。
Posted by lili on May 25, 2019