专题:CS224N 笔记系列
共7篇相关文章

词向量与NER笔记如何应用于识别?
词向量评估 词向量内部评估 (1)词向量的内部评估是对一组由如Word2Vec或GloVe生成的词向量在特定的中间子任务 (如词类比) 上的评估。这些子任务通常简单而且计算速度快,从而能够帮助我们理解生成的的词向量。 (2)词类比 一个比较...

依存结构与依存分析笔记(CS224N-3)中,依存关系如何解析?
依存结构 与编译器中的解析树类似,NLP中的解析树是用于分析句子的句法结构。使用的结构主要有两种类型——短语结构和依存结构。短语结构文法使用短语结构语法将词组织成嵌套成分。后面的内容会展开对它做更详细的说明。我们现在关注依存语法。 句子的依...

CS224N-4中,语言模型与RNN如何处理?
语言模型定义 (1)语言模型任务是根据给定的单词序列计算下一个单词的概率分布,完成这样的任务的系统就被称作语言模型 (2)也可以认为语言模型是一个为文本分配概率的系统,例如文本 (x^{(1)},cdots,x^{(T)}) 的概率是...

LSTM和机器翻译笔记(CS224N-5)如何处理?
LSTM (1)LSTM(Long Short-Term Memory RNNs)是Hochreiter和Schmidhuber在1997年提出的一种RNN,用于解决消失梯度问题 (2)在步骤t中,这里有一个隐藏单元(h^{(t)})和...

CS224N-6中解码与Attention机制,如何应用于处理?
语言模型的解码 △:在讲义中这部分内容是神经机器翻译NMT中,我认为这个适用于所有语言模型所以就单列出来了 (1)贪心解码:每一步都取最可能的单词,用前一步的输出作为下一步的输入(存在问题:有一个预测偏差,会导致后面的生成不可挽回,最终结果...

CS224N-7中Transformer笔记,如何理解的原理?
模型回顾 问题:RNN需要经过k步才能对远距离的单词进行交互,例如 这里的was是chef的谓语,二者的关系十分紧密,但是使用线性顺序分析句子会导致如果was和chef的距离较远,它们会难以交互(因为梯度问题) Self Attention...

CS224N-8中预训练笔记有哪些?
子词模型 前置知识 (1)词法知识介绍 语音学是音流无争议的物理学 语音体系假定了一组或多组独特的、分类的单元(音素) 传统上,词素是最小的语义单位(例如(ate,ly,able)这种),但如今我们需要讨论比单词粒度更细的模型以处理大量...
