深度学习中的非线性激活函数，你了解多少？
摘要：# 一、Padding Layers简介 - **nn.ZeroPad2d**：在输入的tensor数据类型周围**用0进行填充** - **nn.ConstantPad2d**：在输入的tensor数据类型周围**用常数进行填充** 这个
一、Padding Layers简介
nn.ZeroPad2d：在输入的tensor数据类型周围用0进行填充
nn.ConstantPad2d：在输入的tensor数据类型周围用常数进行填充
这个函数的主要作用是对输入的图像进行填充，但里面所有功能都能用nn.Conv2d实现。
二、Non-linear Activations
非线性激活主要作用是为神经网络引入一些非线性特质
1. nn.ReLU介绍
class torch.nn.ReLU(inplace=False)
作用：
\(input\leq{0}\)，\(output=0\)
\(input>0\)，\(output=input\)
计算公式：
\[ReLU(x)=(x)^+=max(0,x)
\]
inplace参数：
inplace=True，则会自动替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=output=0
inplace=True，则不替换输入时的变量参数。