Home | 简体中文 | 繁体中文 | 杂文 | Github | 知乎专栏 | Facebook | Linkedin | Youtube | 打赏(Donations) | About
知乎专栏

13.3. Transformer 和 Transforms 区别

学习人工智能避免不了会接触到 transformer 和 transforms 开始以为是一个东西,结果发现是两个完全不同的东西。

Transformer 是一种基于自注意力机制(self - attention mechanism)的神经网络架构。它主要用于处理序列数据,如自然语言处理中的句子。Transformer 架构摒弃了传统的循环神经网络(RNN)和卷积神经网络(CNN)在序列处理中的一些局限。例如在机器翻译任务中,Transformer 架构的模型(如著名的 BERT、GPT 系列)能够很好地理解句子中单词之间的语义关系,通过多头注意力机制(Multi - Head Attention)并行地计算序列中每个位置与其他位置的关联程度。

Transforms 是PyTorch类库中的一个模块,transforms通常是指一系列的数据转换操作。这些操作主要用于对图像数据进行预处理,例如调整图像的大小(Resize)、将图像转换为张量(ToTensor)、对图像进行归一化(Normalize)等。以图像分类任务为例,在将图像输入到卷积神经网络之前,需要通过transforms对图像进行预处理,使得图像数据符合网络的输入要求,提高模型的性能和训练效率。