专题：TFKerasPytorch
共15篇相关文章
Pytorch显存动态分配规律是怎样的？
下面通过实验来探索Pytorch分配显存的方式。 实验 显存到主存 我使用VSCode的jupyter来进行实验，首先只导入pytorch，代码如下： import torch 打开任务管理器查看主存与显存情况。情况分别如下： 在显存中创建...
TensorflowKeras、Pytorch有哪些技巧和最佳实践？
TensorflowKeras 直接从文件生成图片数据 ImageDataGenerator，循环生成图片，在重复生成图片之前，会把所有图片都遍历一遍。而且如果图片总量不是生成批量的倍数的话，在生成重复图片的前一次的批量是不完整的。具体代...
如何用Keras实现VAE处理？
变分自编码器（variational autoencoder, VAE）是一种生成模型，训练模型分为编码器和解码器两部分。 编码器将输入样本映射为某个低维分布，这个低维分布通常是不同维度之间相互独立的多元高斯分布，因此编码器的输出为这个高斯...
Tensorflow2.0与Keras如何构建个性化神经网络模型？
Keras是基于Tensorflow（以前还可以基于别的底层张量库，现在已并入TF）的高层API库。它帮我们实现了一系列经典的神经网络层（全连接层、卷积层、循环层等），以及简洁的迭代模型的接口，让我们能在模型层面写代码，从而不用仔细考虑模型...
如何用Pytorch构建识别模型？
本来是只用Tenorflow的，但是因为TF有些Numpy特性并不支持，比如对数组使用列表进行切片，所以只能转战Pytorch了（pytorch是支持的）。还好Pytorch比较容易上手，几乎完美复制了Numpy的特性（但还有一些特性不支持...
如何用TensorBoard可视化模型？
Tensorboard是TF自带的可视化工具。它可以让我们从各个角度观察与修改模型，比如观察模型在训练时的loss动态变化曲线而无需在迭代完毕后再画图、绘制神经网络的结构图、调节超参数等。下面以最简单的形式展示tensorboard的常用功...
直接理解转置卷积的多种应用场景如何表述？
使用GAN生成图像必不可少的层就是上采样，其中最常用的就是转置卷积（Transposed Convolution）。如果把卷积操作转换为矩阵乘法的形式，转置卷积实际上就是将其中的矩阵进行转置，从而产生逆向的效果。所谓效果仅仅在于特征图的形状...
Pytorch显存动态分配规律是怎样的？
下面通过实验来探索Pytorch分配显存的方式。 实验 显存到主存 我使用VSCode的jupyter来进行实验，首先只导入pytorch，代码如下： import torch 打开任务管理器查看主存与显存情况。情况分别如下： 在显存中创建...
Pytorch训练显存分配机制是怎样的？
对于显存不充足的炼丹研究者来说，弄清楚Pytorch显存的分配机制是很有必要的。下面直接通过实验来推出Pytorch显存的分配过程。 实验实验代码如下： import torch from torch import cuda x = tor...
Pytorch数据读取与预处理如何为？
在炼丹时，数据的读取与预处理是关键一步。不同的模型所需要的数据以及预处理方式各不相同，如果每个轮子都我们自己写的话，是很浪费时间和精力的。Pytorch帮我们实现了方便的数据读取与预处理方法，下面记录两个DEMO，便于加快以后的代码效率。...
如何用Tensorflow在TPU上训练模型？
要用TPU训练tensorflow模型，只能使用静态图。也就是要先通过keras的sequential或者函数式定义模型，而不能直接使用重写的Model类。例子如下，其中包含层的自定义，以及子像素卷积。需要注意的是，tensorflow的子...
如何用Pytorch实现多显卡模型训练？
深度学习中，当一块GPU不够用时，我们就需要使用多卡进行并行训练。其中多卡并行可分为数据并行和模型并行。具体区别如下图所示： 由于模型并行比较少用，这里只对数据并行进行记录。对于pytorch，有两种方式可以进行数据并行：数据并行（Data...
如何用PyTorch实现图卷积神经网络进行分类？
图神经网络（GNN）目前的主流实现方式就是节点之间的信息汇聚，也就是类似于卷积网络的邻域加权和，比如图卷积网络（GCN）、图注意力网络（GAT）等。下面根据GCN的实现原理使用Pytorch张量，和调用torch_geometric包，分别...
如何高效记录使用Transformers包的每个细节？
Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（PytorchTensorflowJax）无缝转移。以下记录基于H...
如何将PyTorch的四个hook函数整合为一个？
训练神经网络模型有时需要观察模型内部模块的输入输出，或是期望在不修改原始模块结构的情况下调整中间模块的输出，pytorch可以用hook回调函数来实现这一功能。主要使用四个hook注册函数：register_forward_hook、reg...