如何为一个php电商网站开发创建一个政工网站？

php电商网站开发贴吧,政工网站建设方案,小企业网站建设服务,网站定做公司深度学习——残差网络#xff08;ResNet#xff09; 文章目录 前言一、函数类二、残差块三、ResNet模型四、模型训练五、小结总结 前言 随着设计越来越深的网络#xff0c;深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的是设计网络的能力#xff0c… 深度学习——残差网络ResNet 文章目录 前言一、函数类二、残差块三、ResNet模型四、模型训练五、小结总结 前言 随着设计越来越深的网络深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的是设计网络的能力在这种网络中添加层会使网络更具表现力 为了取得质的突破我们需要一些数学基础知识。 本章主要学习残差网络 参考书 《动手学深度学习》 一、函数类 首先假设有一类特定的神经网络架构 F \mathcal{F} F它包括学习速率和其他超参数设置。对于所有 f ∈ F f \in \mathcal{F} f∈F存在一些参数集例如权重和偏置这些参数可以通过在合适的数据集上进行训练而获得。 现在假设 f ∗ f^* f∗是我们真正想要找到的函数如果是 f ∗ ∈ F f^* \in \mathcal{F} f∗∈F那我们可以轻而易举的训练得到它但通常我们不会那么幸运。 相反我们将尝试找到一个函数 f F ∗ f^*_\mathcal{F} fF∗​这是我们在 F \mathcal{F} F中的最佳选择。 例如给定一个具有 X \mathbf{X} X特性和 y \mathbf{y} y标签的数据集我们可以尝试通过解决以下优化问题来找到它 f F ∗ : a r g m i n f L ( X , y , f ) subject to  f ∈ F . f^*_\mathcal{F} : \mathop{\mathrm{argmin}}_f L(\mathbf{X}, \mathbf{y}, f) \text{ subject to } f \in \mathcal{F}. fF∗​:argminf​L(X,y,f) subject to f∈F. 那么怎样得到更近似真正 f ∗ f^* f∗的函数呢 唯一合理的可能性是我们需要设计一个更强大的架构 F ′ \mathcal{F} F′。 换句话说我们预计 f F ′ ∗ f^*_{\mathcal{F}} fF′∗​比 f F ∗ f^*_{\mathcal{F}} fF∗​“更近似”。 然而如果 F ⊈ F ′ \mathcal{F} \not\subseteq \mathcal{F} F⊆F′则无法保证新的体系“更近似”。事实上 f F ′ ∗ f^*_{\mathcal{F}} fF′∗​可能更糟 如图中所示对于非嵌套函数类较复杂的函数类并不总是向“真”函数 f ∗ f^* f∗靠拢复杂度由 F 1 \mathcal{F}_1 F1​向 F 6 \mathcal{F}_6 F6​递增。虽然 F 3 \mathcal{F}_3 F3​比 F 1 \mathcal{F}_1 F1​更接近 f ∗ f^* f∗但 F 6 \mathcal{F}_6 F6​却离的更远了。 相反对于 图中右侧的嵌套函数类 F 1 ⊆ … ⊆ F 6 \mathcal{F}_1 \subseteq \ldots \subseteq \mathcal{F}_6 F1​⊆…⊆F6​可以避免上述问题。 因此只有当较复杂的函数类包含较小的函数类时我们才能确保提高它们的性能。 对于深度神经网络如果我们能将新添加的层训练成恒等映射 f ( x ) x f(\mathbf{x}) \mathbf{x} f(x)x新模型和原模型将同样有效。 同时由于新模型可能得出更优的解来拟合训练数据集因此添加层似乎更容易降低训练误差。 针对这一问题何恺明等人提出了残差网络ResNet其核心思想是每个附加层都应该更容易地包含原始函数作为其元素之一。 于是残差块residual blocks便诞生了 也就是说在残差块中每个层的输入不仅包含前一层的输出还包含了原始输入。这样做的目的是让网络学习到残差即当前层的输出与原始输入之间的差异。 二、残差块 右图是ResNet的基础架构–残差块。 在残差块中输入可通过跨层数据线路更快地向前传播。 ResNet沿用了VGG完整的 3 × 3 3\times 3 3×3卷积层设计。 残差块里首先有2个有相同输出通道数的 3 × 3 3\times 3 3×3卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。 然后我们通过跨层数据通路跳过这2个卷积运算将输入直接加在最后的ReLU激活函数前。