李理的博客

DeepFM模型CTR预估理论与实战

本文介绍DeepFM模型的原理、代码和用于CTR预估的示例,同时也会介绍相关的FM模型。


BERT在情感分析ATSC子任务的应用

本文主要介绍论文Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification及其代码实现。


PaddlePaddle框架简介

本文介绍百度的深度学习框架PaddlePaddle的基本概念和用法。本文主要参考了官方文档,也包括一些作者自己的理解。


情感分析常见数据集介绍

本文介绍情感分析领域最常见的一些数据集。


情感分析简介

本文是对情感分析这个问题(领域)的调研,对于问题的定义和介绍主要参考了Sentiment Analysis: mining sentiments, opinions, and emotions,虽然这本书写于2015年,很多当时SOTA的方法现在已经过时了,但是本书对于问题的介绍和描述非常详细和清晰,强烈建议对情感分析领域有兴趣的读者阅读。


一两银子值多少钱

最近在微信读书App上看《蜀山剑侠传》,第一章李宁赏给船家四两银子。按照读者的注释,一两银子大概相当于450元人民币。但是又有读者提出质疑:照这么算,《红楼梦》里大丫鬟和姨娘一个月一两的例银实在是有点少。因此上网搜索了一下,本文探讨一下在清朝康乾年间一两银子到底能值多少钱。虽然是纯属无聊的”调研”(考据可能还算不上),但是背后的一些事实对于今天的我们可能也会有些启发。


XLNet代码分析(四)

本文介绍XLNet的代码的Fine-tuning部分,需要首先阅读第一部分第二部分第三部分,读者阅读前需要了解XLNet的原理,不熟悉的读者请先阅读XLNet原理


基于WFST的语音识别解码器

本系列文章介绍基于WFST的语音识别解码器的理论知识。前面的微软Edx语音识别课程最后一个实验因为没有足够的理论知识,很难读懂其中的代码,因此本系列文章介绍这些缺失的内容。

  • 8/8更新语音识别系统概述本文回顾WFST之前的解码器基础知识,便于没有基础的读者了解最基本的Viterbi算法和Beam搜索算法、Word Lattice等基本概念。

  • 8/23更新WFST介绍本文介绍语音识别里用到的WFST的基本概念,重点介绍WFST的复合、确定化、weight pushing、最小化和ε消除等算法。

  • 9/5更新基于WFST的语音识别解码器算法,本文首先介绍基于WFST的语音识别系统,然后解释语音识别系统的不同模块怎么用WFST来表示以及怎么把这些WFST组织成单一的搜索网络。最后我们介绍使用完全复合后的WFST来进行识别的时间同步Viterbi Beam搜索算法。因为文章内容较长,读者一次阅读内容太多,另外作者更新一次时间也太长,因此以后会完成一部分更新一部分。


对BERT的pretraining改进的几篇文章

本文介绍对于BERT的Pretraining过程进行改进的几篇文章,包括Pre-Training with Whole Word Masking for Chinese BERTERNIE: Enhanced Representation through Knowledge IntegrationERNIE 2.0: A Continual Pre-training Framework for Language Understanding

注意:这几篇文章都是对BERT模型的Pretraining阶段的Mask进行了不同方式的改进,但是对于BERT模型本身(基于Mask LM的Pretraining、Transformer模型和Fine-tuning)没有做任何修改。因此对于不需要Pretraining的用户来说只要把Google提供的初始模型替换成这些模型就可以直接享受其改进了(百度的ERNIE和ERNIE 2.0是基于PaddlePaddle的,Tensorflow和PyTorch用户需要借助第三方工具进行转换)。

阅读本文前,读者需要了解BERT的基本概念,不熟悉的读者可以先学习BERT课程BERT模型详解BERT代码阅读


BERT的成功是否依赖于虚假相关的统计线索?

本文介绍论文Probing Neural Network Comprehension of Natural Language Arguments,讨论BERT在ACRT任务下的成绩是否依赖虚假的统计线索,同时分享一些个人对目前机器学习尤其是自然语言理解的看法。