如何找到石家庄市住房和城乡建设厅网站上的漯河建设工程信息？

石家庄市住房和城乡建设厅网站,漯河建设工程信息网,semifinal,只会后端不会前端如何做网站神经网络压缩调研 背景现有的深度模型压缩方法NetWork Prunning 网络剪枝设计结构化矩阵知识蒸馏权值共享Parameter Quantization#xff08;参数量化#xff09;量化和二进制化伪量化Architecture Design#xff08;Depth Separable Convolution#xff09;分解卷积 背景 … 神经网络压缩调研 背景现有的深度模型压缩方法NetWork Prunning 网络剪枝设计结构化矩阵知识蒸馏权值共享Parameter Quantization参数量化量化和二进制化伪量化Architecture DesignDepth Separable Convolution分解卷积 背景 小模型参数少容易将ML模型部署在资源有限的设备上但是直接训练一个好的小网络比较困难 现有的深度模型压缩方法 基于参数修建和共享的方法针对模型参数的冗余性 试图取出冗余和不重要的项基于低秩因子分解的技术使用矩阵/张量分解来估计深度学习模型的信息参数基于传输/紧凑卷积滤波器的方法设计页数的卷积滤波器来降低存储和计算复杂度知识蒸馏方法通过学习一个蒸馏模型训练一个更紧凑的神经网络来重现一个更大的网络输出 综述论文 :A Survey of Model Compression and Acceleration for Deep Neural Networks 转移层和参数修剪和共享可以一起使用模型量化和二值化可以与低秩近似一起使用以实现进一步的加速 NetWork Prunning 网络剪枝 删减神经网络没有用的参数 过程如下PPT叙述一遍训练一个网络针对网络的每一个参数评估一下重要性 每一个神经元的重要性移除不重要的参数或者神经元微调 重新训练一下 Fine-tune反复进行多次 修剪的单位 参数或者神经元 移除若干个权重参数但是实际操作不好定义 因为结构不对称,而且当Network不规则不方便使用GPU进行加速评价weight重要性我们可以用绝对值衡量即绝对值越大weight越重要或者采用之前介绍的life long learning的想法评价neuron重要性我们可以用其输出的结果为0的次数衡量即输出0越多越不重要。 neuron pruning 一神经元为单位进行剪枝通过去除冗余的神经元简化网络结构。这样得到的网络结构是规则的相比于Weight pruning这种方式更好实现也更容易通过GPU加速。 训练一个大的模型保留比较有用的模型参数 然后得到一个小的模型这样得到的小模型效果和原始的大模型效果差不多而不是直接训练一个小的模型 设计结构化矩阵 如果一个Mxn矩阵可以使用一个少于mxn的参数来描述就是一个结构化的矩阵通常这样的结构不仅能减少内存消耗还可以通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度 但是问题是结构的约束会导致精确度的损失因为约束可能给模型带来偏差另外一个方面如何找到一个合适的矩阵结构是很困难的没有理论来支持推导。 知识蒸馏 首先定义一个比较大的网络Teacher Net,然后训练那么训练后的网络比如手写数字识别任务预测1的结果概率是 10.7 70.2 90.1在定义一个小的网络Student Net 然后让他学习Teacher Net如果让比较小的网络得到和比较大的网络一样的效果比较难train,所以直接按照大的network的训练结果训练小的网络跟容易train。 这个Teacher Net不一定是一个巨大的network也有可能是将多个network组合ensemble得到的。但是多个network组合的模型往往比较复杂在实际应用中我们可以训练一个Student Net让结果逼近N Networks的结果使得模型准确度差不多的情况下复杂度大大减少。 关于只是蒸馏的一个小技巧就算是在softmax函数的基础上对每一个输出的结果加上一个temperature这样会对最后最后的预测结果进行一个平滑的处理使得Student Net更好训练 基于知识蒸馏方法可以令更深的模型降低计算成本但是只能用于具有Softmax损失函数分类任务这阻碍应用但是另一个缺点是太严格性能比不上其他方法老师和学生可以是不同的网络结构比如BERT蒸馏到BiLSTM网络但是一般相似网络结构蒸馏的效果会更好。