对PyTorch中inplace字段的全面理解

发布时间: 2022-06-19 本文共661个字,预计阅读时间需要2分钟

例如

torch.nn.ReLU(inplace=True)
inplace=True

表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;

inplace=False

表示新建一个变量存储操作结果,如y=x+3,x=y;

inplace=True

可以节省运算内存,不用多存储变量。

补充:PyTorch中网络里面的inplace=True字段的意思

在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。

上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
8. <充值积分><开通会员>请联系客服QQ3278882110购买。
脾气SEO » 对PyTorch中inplace字段的全面理解

脾气seo(piqiseo)-网站二次开发教程-插件下载-源码下载

VIP会员 联系我们
开通VIP 享更多特权,建议使用QQ登录