最新文章

Transformer 输出结果

Transformer 输出结果 以上,就讲完了 Transformer 编码和解码两大模块,那么我们回归最初的问题,将 “机器学习” 翻译成 “machine learing”,解码器的输出是一个浮点型的向量,怎么转化成 “machine learing” 这两个词呢?让我们来看看 Encoder
2023-03-26

Encoder

Encoder Encoder 有了上述那么多知识的铺垫,我们知道 Eecoders 是 N
2023-03-22

Self Attention

Self Attention Self-Attention(自注意力)是一种在序列任务处理中广泛使用的机制,尤其是在自然语言处理(NLP)领域。它是Transformer模型的核心组成部分,能够让模型在处理序列数据时自动捕捉到序列内部的长距离依赖关系。以下是Self-Attention的基本概念和工
2023-03-17

88.合并两个有序数组

88.合并两个有序数组 给定两个按非递减顺序排列的整数数组 nums1 和 nums2,其中 nums1 有足够的空间容纳 nums2 的元素。请你将 nums2 合并到 nums1 中,使得合并后的数组同样按非递减顺序排列。 注意: 最终,合并后数组不应由函数返回,而是存储在数组 nums1 中。
2023-03-13

Transformer

Transformer Transformer架构是一种深度学习模型,它在2017年由Google的研究者提出,并在自然语言处理(NLP)领域取得了重大突破。下面我会尽量用简单的话来解释Transformer的构架。 上图所示的整体框架乍一眼一看非常复杂,由于 Transformer 起初是作为翻译
2023-03-08

位置编码

位置编码 位置编码(Positional Encoding)是Transformer模型中用来引入序列中词语位置信息的一种技术。由于Transformer模型本身不包含循环神经网络的递归结构或卷积神经网络的层次结构,因此它本身无法捕捉到序列数据中的顺序信息。位置编码就是为了解决这个问题而设计的。 位
2023-03-03

Position Embedding

Position Embedding Position Embedding 是一种在序列模型中引入位置信息的方法,特别是在 Transformer 模型中,因为它不像传统的循环神经网络(RNN)或卷积神经网络(CNN)那样天然具有对序列位置的感知能力。Position Embedding 的目的是给
2023-03-02