专题：深度学习
共147篇相关文章
如何从数据流动角度全面解析 Transformer 模型架构的深层逻辑？
论文链接：Attention Is All You Need 这篇论文提出了 Transformer 模型架构，这是一个序列到序列的模型，在论文中被应用于英德和英法两个机器翻译任务。 由于 Transformer 被用于翻译任务，整个模型的...
如何从零基础精通Transformer及其全解密？
Transformer架构这五年来深受人们重视。 本文是以逐行代码的形式对原论文进行注释的版本。 本文对原论文一部分章节进行了重新排序和删除，并在整个文档中添加了注释。 本文本身是一个可以运行的笔记（ipynb），理论上完全可以直接复现。...
词向量与NER笔记如何应用于识别？
词向量评估 词向量内部评估 (1)词向量的内部评估是对一组由如Word2Vec或GloVe生成的词向量在特定的中间子任务 (如词类比) 上的评估。这些子任务通常简单而且计算速度快，从而能够帮助我们理解生成的的词向量。 (2)词类比 一个比较...
依存结构与依存分析笔记（CS224N-3）中，依存关系如何解析？
依存结构 与编译器中的解析树类似，NLP中的解析树是用于分析句子的句法结构。使用的结构主要有两种类型——短语结构和依存结构。短语结构文法使用短语结构语法将词组织成嵌套成分。后面的内容会展开对它做更详细的说明。我们现在关注依存语法。 句子的依...
CS224N-4中，语言模型与RNN如何处理？
语言模型定义 (1)语言模型任务是根据给定的单词序列计算下一个单词的概率分布，完成这样的任务的系统就被称作语言模型 (2)也可以认为语言模型是一个为文本分配概率的系统，例如文本 (x^{(1)},cdots,x^{(T)}) 的概率是...
LSTM和机器翻译笔记（CS224N-5）如何处理？
LSTM (1)LSTM（Long Short-Term Memory RNNs）是Hochreiter和Schmidhuber在1997年提出的一种RNN，用于解决消失梯度问题 (2)在步骤t中，这里有一个隐藏单元(h^{(t)})和...
CS224N-6中解码与Attention机制，如何应用于处理？
语言模型的解码 △：在讲义中这部分内容是神经机器翻译NMT中，我认为这个适用于所有语言模型所以就单列出来了 (1)贪心解码：每一步都取最可能的单词，用前一步的输出作为下一步的输入（存在问题：有一个预测偏差，会导致后面的生成不可挽回，最终结果...
CS224N-7中Transformer笔记，如何理解的原理？
模型回顾 问题：RNN需要经过k步才能对远距离的单词进行交互，例如 这里的was是chef的谓语，二者的关系十分紧密，但是使用线性顺序分析句子会导致如果was和chef的距离较远，它们会难以交互（因为梯度问题） Self Attention...
CS224N-8中预训练笔记有哪些？
子词模型 前置知识 (1)词法知识介绍 语音学是音流无争议的物理学 语音体系假定了一组或多组独特的、分类的单元（音素） 传统上，词素是最小的语义单位（例如(ate,ly,able)这种），但如今我们需要讨论比单词粒度更细的模型以处理大量...
强化学习基础（RL）中，策略如何优化决策过程？
RL 简介 (1) 定义 强化学习（Reinforcement Learning）是一种机器学习方法，用于解决需要在一定环境下通过与环境交互来学习最有行为策略的问题。其核心思想是通过试错和奖励机制来指导智能体（Agent）学习如何在不同情境...
如何将ResNet为？
为什么 AI 网络超 20 层就“变笨”？传统网络像传话游戏，信息随层数加深而严重退化。ResNet 巧妙引入“跳跃连接”修建数据“高速公路”，让原始信息直达终点，网络仅需学习微小的“残差”。这彻底打破了深度限制，让成百上千层的极深大模型训...
深度学习（八）——神经网络：卷积层，如何应用？
# 一、卷积层Convolution Layers函数简介 > 官网网址：[torch.nn.functional — PyTorch 2.0 documentation](https:pytorch.orgdo...
深度学习中的最大池化究竟有何神奇之处？
# 一、 torch.nn中Pool layers的介绍 > 官网链接： > > https:pytorch.orgdocsstablenn.html#poolin...
深度学习中的非线性激活函数，你了解多少？
# 一、Padding Layers简介 - **nn.ZeroPad2d**：在输入的tensor数据类型周围**用0进行填充** - **nn.ConstantPad2d**：在输入的tensor数据类型周围**用常数进行填充** 这个...
深度学习中的线形层及其他层，你了解多少？
主要介绍神经网络线性层的计算，即torch.nn.Linear的原理及应用。并插入一些神经网络的其他层介绍，及调用pytorch中网络模型的方法。...