 

当前位置：马春杰杰  深度学习  Pytorch学习  正文

Pytorch基础__F.relu和nn.ReLU的区别？

2021-07-30 分类：Pytorch学习评论(0) 赞(285)

简要概括就是：F.relu当函数用，nn.ReLU当模块定义用。

F.relu()一般在forward中用，nn.ReLU()在定义网络结构的时候用。

比如：

import torch.nn as nn
import torch.nn.functional as F

class NET1(nn.Module):
    def __init__(self):
        super(NET1, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1, 1)
        self.bn = nn.BatchNorm2d(16)
        self.re = nn.ReLU()  # 模块的激活函数

    def foreward(self, x):
        out = self.conv(x)
        out = self.bn(x)
        out = self.re()
        return out


class NET2(nn.Module):
    def __init__(self):
        super(NET2, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1, 1)
        self.bn = nn.BatchNorm2d(16)

    def foreward(self, x):
        out = self.conv(x)
        out = self.bn(x)
        out = F.relu(out)  # 函数的激活函数
        return out


net1 = NET1()
net2 = NET2()
print(net1)
print(net2)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

import torch.nn as nn

import torch.nn.functional as F

class NET1(nn.Module):

def __init__(self):

super(NET1, self).__init__()

self.conv = nn.Conv2d(3, 16, 3, 1, 1)

self.bn = nn.BatchNorm2d(16)

self.re = nn.ReLU() # 模块的激活函数

def foreward(self, x):

out = self.conv(x)

out = self.bn(x)

out = self.re()

return out

class NET2(nn.Module):

def __init__(self):

super(NET2, self).__init__()

self.conv = nn.Conv2d(3, 16, 3, 1, 1)

self.bn = nn.BatchNorm2d(16)

def foreward(self, x):

out = self.conv(x)

out = self.bn(x)

out = F.relu(out) # 函数的激活函数

return out

net1 = NET1()

net2 = NET2()

print(net1)

print(net2)

注意：当用print(net)输出时，会有nn.ReLU()层，而F.ReLU()是没有输出的。

赞(285) 打赏

版权声明：本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称：《Pytorch基础__F.relu和nn.ReLU的区别？》
文章链接：https://www.machunjie.com/deeplearning/pytorch/998.html
本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。

分享到

马春杰杰 

好好学习，天天向上。加油！！！TG群

相关推荐

评论抢沙发

马春杰杰博客始建于2017年6月14日，博客主要分享网站建设中遇到的问题及解决方案、自己在读书过程中的心得体会及分享一些自觉有意义的音视频内容，记录些生活中的琐事，希望博客能督促怠惰的自己不断学习，不断进步。

精彩直达

友情链接视频解析简历生成表白网页联系我们给我留言

加载中…

私密评论

:smile:

:sad:

:cool:

:confused:

:cry:

:eek:

:evil:

:exclaim:

:idea:

:lol:

:mad:

:mrgreen:

:neutral:

:question:

:razz:

:redface:

:rolleyes:

:surprised:

:wink:

:biggrin:

:twisted: