转置卷积层和卷积层是一样的吗？使用PyTorch进行概念试验
在这篇文章中，我将使用常规卷积操作测试和比较神经网络的分类任务，并通过用转置卷积替换卷积来比较相同的网络。
转置卷积运算
转置卷积操作现在是众所周知的，并且已经在许多需要上采样的模型中使用。它与卷积运算非常相似，只是卷积矩阵被转置。因此结果是输出增长而不是减少（取决于使用的padding，步幅和内核大小）。首先，让我们对输出在随机张量上的转置卷积的输出方式进行一些测试。
首先，我导入PyTorch并将其封装为变量，从批量大小为1、通道尺寸为1、高度为5、宽度为5的正态分布中抽取的随机张量如下图所示。然后我定义转置卷积运算，以得到正确的输入，内核大小为3x3，最大步长为1，padding为0。将这些转换为PyTorch代码（Python实现）:
import torch
import torch.nn as nn
from torch.autograd import Variable
random_tensor = Variable(torch.randn(1, 1, 5, 5))
upsample_tnsr = nn.ConvTranspose2d(in_channels = 1, out_channels = 1, kernel_size = 3, stride = 1, padding = 0)
在继续之前，我想指定一些表示法，以方便地遵循这些定义。
一些设置:
- $ latex n_W = $宽度的输入尺寸，$ latex n_H = $高度的输入尺寸。由于张量将是正方形，我们将参数n代表两者。
- p =是应用于张量的填充
- f =内核的大小
- s =是将使用卷积运算应用的步幅。
- c =是张量的通道维数
如果我们对张量应用常规卷积，结果可以描述如下：
这将是张量的宽度和高度的输出，并且它将是相同的，因为我们可以假设输入将具有相同的高度和宽度尺寸。
作为一个例子，假设我考虑上面指定的张量，在padding p = 1，内核大小f = 3和stride s = 1的情况下对其应用常规卷积运算，我们的输出将与输入n相同。
上图中：批量大小= 1，通道= 1，高度，宽度= 5的随机张量上运行卷积运算。内核f = 3，stride = 1 padding = 1的卷积输出在高度和宽度上保持不变。
现在，如果我们想对此运行转置卷积，那么我们期望的结果将通过以下等式描述：
假设在相同的张量上，我们运行转置卷积，其中stride s = 2，内核f = 3，padding = 1.然后我们期望的输出将是output = 9。
在相同的张量上运行转置卷积。高亮大小是对张量操作的结果。
现在，如果我们使用stride = 1，内核大小f = 3并且padding = 1，那么输出的结果将与输入相同。
您可以在下面看到结果：
转置卷积的输出尺寸与输入尺寸保持一致
用转置卷积构建网络
现在我利用转置卷积的输出，其中正确的设置保持与输入相同。这将是网络的隐藏层，并且由于平均池操作，到网络的输入图片将仅通过过渡层减少。
所以网络的 Dense Block用Python实现看起来像这样：
class Dense_Block_Transposed(nn.Module):
def __init__(self, in_channels):
super(Dense_Block_Transposed, self).__init__()
self.relu = nn.LeakyReLU(inplace = True)
self.bn = nn.BatchNorm2d(num_features = in_channels)
self.conv1 = nn.ConvTranspose2d(in_channels = in_channels, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)
self.conv2 = nn.ConvTranspose2d(in_channels = 32, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)
self.conv3 = nn.ConvTranspose2d(in_channels = 64, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)
self.conv4 = nn.ConvTranspose2d(in_channels = 96, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)
self.conv5 = nn.ConvTranspose2d(in_channels = 128, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)
def forward(self, x):
bn = self.bn(x)
conv1 = self.relu(self.conv1(bn))
conv2 = self.relu(self.conv2(conv1))
c2_dense = self.relu(torch.cat([conv1, conv2], 1))
conv3 = self.relu(self.conv3(c2_dense))
c3_dense = self.relu(torch.cat([conv1, conv2, conv3], 1))
conv4 = self.relu(self.conv4(c3_dense))
c4_dense = self.relu(torch.cat([conv1, conv2, conv3, conv4], 1))
conv5 = self.relu(self.conv5(c4_dense))
c5_dense = self.relu(torch.cat([conv1, conv2, conv3, conv4, conv5], 1))
return c5_dense
这里，图像的高度和宽度尺寸不会改变，只有通道尺寸增加。
网络的下一个构建块是Transition Layer。
所以Transition Layer的Python代码如下所示：
class Transition_Layer_Transposed(nn.Module):
def __init__(self, in_channels, out_channels):
super(Transition_Layer_Transposed, self).__init__()
self.relu = nn.LeakyReLU(inplace = True)
self.bn = nn.BatchNorm2d(num_features = in_channels)
self.conv = nn.ConvTranspose2d(in_channels = in_channels, out_channels = out_channels, kernel_size = 1, bias = False)
self.avg_pool = nn.AvgPool2d(kernel_size = 2, stride = 2, padding = 0)
def forward(self, x):
bn = self.bn(self.relu(self.conv(x)))
out = self.avg_pool(bn)
return out
与常规的卷积
现在，我要在CIFAR10上训练这个模型，用随机梯度下降和完全相同的超参数训练这两个网络。我对60个epochs进行了优化，并在训练数据上画出了损失。
两个网络的训练误差。似乎这两个网络的学习或多或少都是一样的，但常规卷积显示出更好的结果。
对每个类的精度分别进行测量
现在让我们看看这些网络对测试数据的表现，以及它们在每个类中的准确性:
结论
通过上述实验，转置卷积似乎可以学习有意义的结果，并且具有与常规卷积相当的准确度，即使对于分类任务也是如此。
但是对于转置卷积更多地用于上采样目的，例如在生成对抗网络中。但正如本文所建议的那样，更好地使用上采样层，例如运行双线性插值以进行上采样，然后进行卷积。