冠县快搜网站建设有限公司如何制定有效的网站建设规划大纲？

冠县快搜网站建设有限公司,网站建设规划大纲,常州高端网站定制公司,如何做网站聚合页有关深度前馈网络的部分知识#xff0c;我们已经在吴恩达的机器学习课程中有过了解了#xff0c;本章主要是对《深度学习》花书中第六章#xff1a;深度前馈网络的总结笔记。我希望你在看到这一章的时候#xff0c;能回忆起机器学习课程中的一些环节或者细节#xff0c;这…有关深度前馈网络的部分知识我们已经在吴恩达的机器学习课程中有过了解了本章主要是对《深度学习》花书中第六章深度前馈网络的总结笔记。我希望你在看到这一章的时候能回忆起机器学习课程中的一些环节或者细节这对理解本文很有帮助。 参考笔记 前馈神经网络初探——深度学习花书第六章一 神经网络损失函数、输出层、隐藏层详解——深度学习第六章二 反向传播算法——深度学习第六章三 (逮住大佬的文章使劲薅 文章目录认识深度前馈网络偏爱线性模型实例学习XOR认识深度前馈网络 深度前馈网络也叫前馈神经网络或者多层感知机这是一种典型的深度学习模型其目的是为了近似某个函数f∗f^*f∗,函数f∗f^*f∗被我们称为近似原函数fff的一个拟合函数。我们想要得到这个函数f∗(x)f^*(x)f∗(x),使得我们输入xxx能够得到近似结果yf∗(x)≈f(x)yf^*(x)\approx f(x)yf∗(x)≈f(x)。整个神经网络相当于一个映射yf(x;θ)yf(x;\theta)yf(x;θ) 像这样信息流为xxx过定义fff的中间计算过程最后达到输出yyy,在模型的输出和模型本身没有反馈连接即输出结果作为下次输入存在反馈连接的被我们称为循环神经网络。 假设一个神经网络函数被描述为f(x)f(3)(f(2)(f1(x)))f(x)f^{(3)}(f^{(2)}(f^{1}(x)))f(x)f(3)(f(2)(f1(x)))其中f(1)f^{(1)}f(1)被称为第一层f(2)f^{(2)}f(2)被称为第二层以此类推。链的全长称为模型的深度前馈网络的最后一层被称为输出层第一层被称为输入层。整个神经网络的目的是想要使yyy能够匹配f∗(x)f^*(x)f∗(x)的值但是训练数据并不能告诉我们其他层该怎么做而应该让学习算法来决定如何使用中间层来很好地近似f∗(X)f^*(X)f∗(X),由于训练数据并未给出中间层所需的输出因此我们把中间的那些层称为隐藏层。 神经网络中的每个隐藏层通常都是向量值这些隐藏层的维度决定了模型的宽度。我们最好把每层隐藏层想象成许多并行处理的单元每个单元表示一个处理x个向量成为一个标量的函数。每个单元类似于神经元它接受来自其他多个单元的输入并计算它自己的激活值每个神经元进行了矢量到标量的映射操作这一操作又被称作激活函数activation function而每一层是不同的神经元并行运算的综合。 偏爱线性模型 建立深度前馈网络的一个考虑是从线性模型开始并设法克服它的局限性例如线性回归和逻辑回归它们无论是通过闭解形式还是使用凸优化都能高效且可靠地拟合。但是线性模型也有明显的缺陷那就是模型的能力被局限于线性函数它无法理解任何两个输入变量间的相互作用。 为了拓展线性模型来表示x的非线性函数我们可以不把线性模型应用于x本身而是用于一个变换后的输入ϕ(x)\phi(x)ϕ(x)上ϕ\phiϕ指的是一个非线性的变换这种方法将线性模型拓展为非线性模型并利用线性模型的性质来解决。如果你还记得我们讲过的核函数我们也可以隐含地使用ϕ\phiϕ映射的非线性学习算法将一个非线性问题转化为一个线性问题再解决。 ϕ\phiϕ可以简单地理解为对原函数f(x)f(x)f(x)或者对x内所隐含特征的映射。 对于如何选取映射 ϕ\phiϕ有如下几种思路选取一个比较通用的 ϕ\phiϕ例如核技巧中的RBF kernel也称作Gaussian kernel如果ϕ(x)\phi(x)ϕ(x)的维度足够高我们总能够使其匹配训练集但很难推广到测试集。因为这种模型只是假设了局域变化不大的前提而并没有包含任何有价值的先验信息。人工选取合适的 ϕ\phiϕ实际上这是在深度学习流行之前的主流方法但是这需要大量的相关经验与人力资源而且不同领域间的知识很难迁移。深度学习的策略是利用神经网络学习合适的用隐藏层代表的映射ϕ\phiϕ即模拟yf(x;θ,w)ϕ(x;θ)Twyf(x;\theta,w)\phi(x;\theta)^Twyf(x;θ,w)ϕ(x;θ)Tw,其中θ\thetaθ是ϕ\phiϕ的模拟参数我们需要从一大类函数中进行学习得到以及用于将ϕ\phiϕ映射到所需的输出的参数www。