如何确保学做网站教学在百度网盘中的有效性？

学做网站教学百度网盘,工作有效性,网站开发公司经营范围,深圳设计培训当ChatGPT在去年秋天推出时#xff0c;在科技行业乃至世界范围内引起了轰动。当时#xff0c;机器学习研究人员尝试研发了多年的语言大模型#xff08;LLM#xff09;#xff0c;但普通大众并未十分关注#xff0c;也没有意识到它们变得多强大。 如今#xff0c;几乎每个…       当ChatGPT在去年秋天推出时在科技行业乃至世界范围内引起了轰动。当时机器学习研究人员尝试研发了多年的语言大模型LLM但普通大众并未十分关注也没有意识到它们变得多强大。 如今几乎每个人都听说过LLM并有数千万人用过它们但是了解工作原理的人并不多。 你可能听说过训练LLM是用于“预测下一个词”而且它们需要大量的文本来实现这一点。但是解释通常就止步于此。它们如何预测下一个词的细节往往被视为一个深奥的谜题。 其中一个原因是这些系统的开发方式与众不同。一般的软件是由人类工程师编写他们为计算机提供明确的、逐步的指令。相比之下ChatGPT是建立在一个使用数十亿个语言词汇进行训练的神经网络之上。 因此地球上没有人完全理解LLM的内部工作原理。研究人员正在努力尝试理解这些模型但这是一个需要数年甚至几十年才能完成的缓慢过程。 然而专家们确实对这些系统的工作原理已有不少了解。本文的目标是将这些知识开放给广大受众。我们将努力解释关于这些模型内部工作原理的已知内容而不涉及技术术语或高级数学。 我们将从解释词向量word vector开始它是语言模型表示和推理语言的一种令人惊讶的方式。然后我们将深入探讨构建ChatGPT等模型的基石Transformer。最后我们将解释这些模型是如何训练的并探讨为什么要使用庞大的数据量才能获得良好的性能。 1、词向量 要了解语言模型的工作原理首先需要了解它们如何表示单词。人类用字母序列来表示英文单词比如C-A-T表示猫。语言模型使用的是一个叫做词向量的长串数字列表。例如这是一种将猫表示为向量的方式 [0.0074, 0.0030, -0.0105, 0.0742, 0.0765, -0.0011, 0.0265, 0.0106, 0.0191, 0.0038, -0.0468, -0.0212, 0.0091, 0.0030, -0.0563, -0.0396, -0.0998, -0.0796, …, 0.0002] 注完整的向量长度实际上有300个数字 为什么要使用如此复杂的表示法这里有个类比华盛顿特区位于北纬38.9度西经77度我们可以用向量表示法来表示 • 华盛顿特区的坐标是[38.977] • 纽约的坐标是[40.774] • 伦敦的坐标是[51.50.1] • 巴黎的坐标是[48.9-2.4] 这对于推理空间关系很有用。你可以看出纽约离华盛顿特区很近因为坐标中38.9接近40.777接近74。同样巴黎离伦敦也很近。但巴黎离华盛顿特区很远。 语言模型采用类似的方法每个词向量代表了“词空间word space”中的一个点具有相似含义的词的位置会更接近彼此。例如在向量空间中与猫最接近的词包括狗、小猫和宠物。用实数向量表示单词相对于“C-A-T”这样的字母串的一个主要优点是数字能够进行字母无法进行的运算。 单词太复杂无法仅用二维表示因此语言模型使用具有数百甚至数千维度的向量空间。人类无法想象具有如此高维度的空间但计算机完全可以对其进行推理并产生有用的结果。 几十年来研究人员一直在研究词向量但这个概念真正引起关注是在2013年那时Google公布了word2vec项目。Google分析了从Google新闻中收集的数百万篇文档以找出哪些单词倾向于出现在相似的句子中。随着时间的推移一个经训练过的神经网络学会了将相似类别的单词如狗和猫放置在向量空间中的相邻位置。 Google的词向量还具有另一个有趣的特点你可以使用向量运算“推理”单词。例如Google研究人员取出最大的biggest向量减去大的big向量再加上小的small向量。与结果向量最接近的词就是最小的smallest向量。 你可以使用向量运算来做类比在这个例子中大big与最大的biggest的关系类似于小small与最小的smallest的关系。Google的词向量捕捉到了许多其他的关系 • 瑞士人与瑞士类似于柬埔寨人与柬埔寨。国籍 • 巴黎与法国类似于柏林与德国。首都 • 不道德的与道德的类似于可能的与不可能的。反义词 • Mouse老鼠与mice老鼠的复数类似于dollar美元与dollars美元的复数。复数形式 • 男人与女人类似于国王与女王。性别角色 因为这些向量是从人们使用语言的方式中构建的它们反映了许多存在于人类语言中的偏见。