李理的博客

XLNet代码分析(三)

本文介绍XLNet的代码的第三部分，需要首先阅读第一部分和第二部分，读者阅读前需要了解XLNet的原理，不熟悉的读者请先阅读XLNet原理。

Posted by lili on July 20, 2019

XLNet代码分析(二)

本文介绍XLNet的代码的第二部分，需要首先阅读第一部分，读者阅读前需要了解XLNet的原理，不熟悉的读者请先阅读XLNet原理。

Posted by lili on July 14, 2019

人工智能六十年技术简史

本文是发表在CSDN的《人工智能六十年技术简史》的草稿，因为最早是网页的形式，参考文献直接作为了链接，没有像传统的论文一样在后面给出参考文献的详细信息。但是发到微信公众号后文中的链接都去掉了。读者自己寻找这些论文可能比较不方便，所以把这篇草稿也发出来。

Posted by lili on July 8, 2019

深度学习理论与实战：基础篇

目前在京东有售，相关代码和补充材料可以点击《深度学习理论与实战：基础篇》代码。

Posted by lili on July 5, 2019

XLNet原理

本文介绍XLNet的基本原理，读者阅读前需要了解BERT等相关模型，不熟悉的读者建议学习BERT课程。

Posted by lili on June 30, 2019

XLNet代码分析

本文介绍XLNet的代码，读者阅读前需要了解XLNet的原理，不熟悉的读者请先阅读XLNet原理。

Posted by lili on June 30, 2019

Kaldi代码分析

本系列文章分析Kaldi的源代码(6/22更新MFCC特征提取)。

Posted by lili on June 22, 2019

常见Linux工具用法

记录一下常见工具的用法。目前包括：命令行设置各种代理服务器的方法；ssh的各种用法；git上传大文件的方法。

Posted by lili on June 21, 2019

Linux sort命令简介

用sort对文件排序，发现这个命令比想象中要复杂和强大，仔细研究了一下文档，记录一下。

Posted by lili on June 15, 2019

微软Edx语音识别课程

本系列文章是作者学习微软在Edx上的语音识别课程DEV287x的笔记。

(6/6增加模块三：声学模型；6/15增加模块四：语言模型；7/15增加模块五：解码器)

这是一个非常好的课程，尤其是实验的设计，通过实际的代码让我们一步步完成特征提取；神经网络声学模型训练；语言模型训练和基于WFST的解码器实现。

我在《深度学习理论与实战：提高篇》里虽然介绍了语音识别的基础理论，也试图提供实战的例子，比如HMM和WFST代码示例、Kaldi简介和DeepSpeech理论与实战等内容。但是这些例子都是孤零零没有联系的，读者很难了解全貌，那本书中缺乏一个完整的从头到尾的基于WFST的HMM-DNN的例子。虽然End-to-end的语音识别系统在是学术界研究的重点，但是目前业界流行的还是HMM-DNN的基于WFST解码器的系统。在那本书里没有介绍WFST尤其是解码器的代码，只是简单的介绍了流行的Kaldi系统的用法，但是Kaldi的代码过于复杂，不适合初学者了解WFST的基本原理。

最近找到了这个课程，花时间学习了一遍，觉得这个课程的例子非常好，因此借这个课程把之前那本书的缺陷弥补一下。另外这个课程的理论讲到太少了，比如WFST的解码器，只是提供了代码，而没有任何介绍，这让学习者很难看懂其中的代码，因此我也对其中不够详细的地方做一些补充。

Posted by lili on May 25, 2019

FEATURED TAGS
人工智能 深度学习 chatbot PyTorch Java BERT git 编程 OCR 汪曾祺 语音识别 Kaldi Linux XLNet 情感分析 sentiment analysis 语法纠错 Transformer Tensorflow Huggingface Ubuntu TensorFlow 深度学习框架 Tensor2Tensor 机器翻译 微信 wechat automation selenium webdriver pywinauto CentOS GPU Appium t2t 代码阅读 中英翻译 公众号 爬虫 ocr tesseract pytesseract python 默认参数 位置参数 VPN JSON Jackson huggingface RoPE PagedAttention vLLM Pre-training LLM CPT weather forecasting graph neural networks qlora quantization transformers cmake pip pipenv conda padding vscode debug source code build deep learning Speech ASR linux pytorch extension Deep Learning DeepSeek Attention MoE
ABOUT ME

读读论文，写写代码。

FRIENDS