专题：自然语言处理
共25篇相关文章
如何全面掌握从核心原理到前沿应用的注意力机制？
注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Att...
如何深入理解大模型架构中encoder-decoder的复杂训练与推理计算全过程？
看一遍就懂-大模型架构及encoder-decoder详细训练和推理计算过程 一、特殊Token的意思 不同模型架构的特殊token体系 BERT（Encoder-only，用于理解任务）： <CLS&...
词向量与NER笔记如何应用于识别？
词向量评估 词向量内部评估 (1)词向量的内部评估是对一组由如Word2Vec或GloVe生成的词向量在特定的中间子任务 (如词类比) 上的评估。这些子任务通常简单而且计算速度快，从而能够帮助我们理解生成的的词向量。 (2)词类比 一个比较...
依存结构与依存分析笔记（CS224N-3）中，依存关系如何解析？
依存结构 与编译器中的解析树类似，NLP中的解析树是用于分析句子的句法结构。使用的结构主要有两种类型——短语结构和依存结构。短语结构文法使用短语结构语法将词组织成嵌套成分。后面的内容会展开对它做更详细的说明。我们现在关注依存语法。 句子的依...
CS224N-4中，语言模型与RNN如何处理？
语言模型定义 (1)语言模型任务是根据给定的单词序列计算下一个单词的概率分布，完成这样的任务的系统就被称作语言模型 (2)也可以认为语言模型是一个为文本分配概率的系统，例如文本 (x^{(1)},cdots,x^{(T)}) 的概率是...
LSTM和机器翻译笔记（CS224N-5）如何处理？
LSTM (1)LSTM（Long Short-Term Memory RNNs）是Hochreiter和Schmidhuber在1997年提出的一种RNN，用于解决消失梯度问题 (2)在步骤t中，这里有一个隐藏单元(h^{(t)})和...
CS224N-6中解码与Attention机制，如何应用于处理？
语言模型的解码 △：在讲义中这部分内容是神经机器翻译NMT中，我认为这个适用于所有语言模型所以就单列出来了 (1)贪心解码：每一步都取最可能的单词，用前一步的输出作为下一步的输入（存在问题：有一个预测偏差，会导致后面的生成不可挽回，最终结果...
CS224N-7中Transformer笔记，如何理解的原理？
模型回顾 问题：RNN需要经过k步才能对远距离的单词进行交互，例如 这里的was是chef的谓语，二者的关系十分紧密，但是使用线性顺序分析句子会导致如果was和chef的距离较远，它们会难以交互（因为梯度问题） Self Attention...
CS224N-8中预训练笔记有哪些？
子词模型 前置知识 (1)词法知识介绍 语音学是音流无争议的物理学 语音体系假定了一组或多组独特的、分类的单元（音素） 传统上，词素是最小的语义单位（例如(ate,ly,able)这种），但如今我们需要讨论比单词粒度更细的模型以处理大量...
ChineseErrorCorrector如何改进为纠正工具？
一键语法错误增强工具 欢迎使用我最近开源的使用一键语法错误增强工具，该工具可以进行14种语法错误的增强，不同行业可以根据自己的数据进行错误替换，来训练自己的语法和拼写模型，希望推动行业文本纠错的发展，欢迎Star，14种错误如下所示： 每种...
TF-IDF算法如何从源码实现中提取？
TF-IDF（Term Frequency-Inverse Document Frequency），是用来衡量一个词在文档中的重要性，下面看一下TDF-IDF的公式： 首先是TF，也就是词频，用来衡量一个词在文档中出现频率的指标。假设某词在...
如何通过中英文抽取实现优化？
中英文关键词抽取 欢迎使用中英文关键词抽取工具，本工具支持多种关键词抽取算法，帮助用户从文本中快速提取重要信息。下图展示了我们所支持的关键词抽取算法： 介绍 本工具提供多种关键词抽取算法，满足不同需求。支持的算法如下： TF-IDF：通过词...
这个开源中文纠错大模型，能超越华为17个百分点吗？
项目地址：GitHub - TW-NLPChineseErrorCorrector: 中文拼写错误和语法错误纠正 文本纠错任务在审查、写作任务中至关重要，以前的纠错大多采用小模型进行训练，例如BART、T5、BERT等，但是小模型的泛...
GraphRAG与Agentic Workflow结合，能打造出什么样的下一代AI智能体平台？
摘要：传统的 RAG 系统只能“检索”片段，往往缺乏全局观。今天推荐一个基于 Python 3.12+ 和 FastAPI 构建的开源项目 AgentForce。它融合了 GraphRAG（知识图谱增强）的认知能力与 Ag...
NLP语言学基础是什么？
不同的自然语言有不同的语法结构，因此需要对语言数据进行语法解析，才能让机器更准确地学到相应的模式。而语言不同于图像，数据标注工作需要有一定的语言学知识，因此数据的整理也相对更困难。下面以英语为例（别的咱也看不懂），对NLP研究中常见的基本语...