1.理解conv1d和conv2d

a. 1和2处理的数据不同,1维数据和图像

b. 例如x输入形状为(32,19,512)时,卷积公式是针对512的,而19应该变换为参数中指定的输出通道。

2.“SE块”(Squeeze-and-Excitation Block)它可以帮助模型自动学习不同特征的重要性,然后增强有用的特征,抑制不那么重要的特征。SE块的工作流程就是:首先通过自适应平均池化“挤压”出全局信息,然后通过两次一维卷积和ReLU激活函数学习不同特征的重要性,最后通过Sigmoid函数将这些重要性转换为0到1之间的权重。这些权重随后可以用于对原始特征图进行重新标定,即根据权重增强或抑制不同的特征。

3.Pointwise Convolution(点卷积)

点卷积,也称为1x1卷积,是一种特殊的卷积操作,其中卷积核的大小为1x1(对于二维卷积是1x1x输入通道数,对于一维卷积是1x输入通道数)。这种卷积操作不会改变输入数据在空间维度(对于一维数据是长度,对于二维数据是高度和宽度)上的大小,但它可以改变数据的深度(即通道数),常用于构建更复杂的网络结构。

4. 位置编码

pos:位置,0~seq_len-1

i: 0~embedding/2   embedding = dmodel

5. zip (),对三维数组迭代时:

for x in zip(X):,X形状为(3,4,5),则循环3次,x的形状是(4,5)

6. torch.stack 把多个2维的张量合成一个3维的张量

7.如果你有一个形状为(3, 4, 5)的tensor,并且你调用.sum(dim=0),那么你会沿着第一个维度(大小为3的那个维度)求和,结果是一个形状为(4, 5)的tensor,因为第一个维度被求和掉了。

8.torch.max ,0是行,1是列

 

9. loss 和train_loss 的计算

 

9. 当你在使用val_loader(或任何用于验证/测试的数据加载器)时,你会使用model.train()时训练好的参数。但是,重要的是要注意,尽管你使用的是训练好的参数,但在进行验证或测试时,你应该将模型设置为评估模式(使用model.eval()),而不是训练模式。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部