主頁 > 知識庫 > pytorch loss反向傳播出錯的解決方案

pytorch loss反向傳播出錯的解決方案

熱門標(biāo)簽:廣告地圖標(biāo)注app 海南400電話如何申請 公司電話機器人 哈爾濱ai外呼系統(tǒng)定制 騰訊外呼線路 唐山智能外呼系統(tǒng)一般多少錢 激戰(zhàn)2地圖標(biāo)注 陜西金融外呼系統(tǒng) 白銀外呼系統(tǒng)

今天在使用pytorch進(jìn)行訓(xùn)練,在運行 loss.backward() 誤差反向傳播時出錯 :

RuntimeError: grad can be implicitly created only for scalar outputs

File "train.py", line 143, in train
loss.backward()
File "/usr/local/lib/python3.6/dist-packages/torch/tensor.py", line 198, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph)
File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 94, in backward
grad_tensors = _make_grads(tensors, grad_tensors)
File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 35, in _make_grads
raise RuntimeError("grad can be implicitly created only for scalar outputs")
RuntimeError: grad can be implicitly created only for scalar outputs

問題分析:

因為我們在執(zhí)行 loss.backward() 時沒帶參數(shù),這與 loss.backward(torch.Tensor(1.0)) 是相同的,參數(shù)默認(rèn)就是一個標(biāo)量。

但是由于自己的loss不是一個標(biāo)量,而是二維的張量,所以就會報錯。

解決辦法:

1. 給 loss.backward() 指定傳遞給后向的參數(shù)維度:

loss = criterion(pred, targets)
loss.backward()
# 改為:
loss = criterion(pred, targets)
loss.backward(loss.clone().detach())

2. 修改loss函數(shù)的輸出維度

把張量的輸出修改為標(biāo)量,比如說多多個維度的loss求和或求均值等。此方法對于某些任務(wù)不一定適用,可以嘗試自己修改。

criterion = nn.L1Loss(reduction='none')
# 把參數(shù)去掉,改為:
criterion = nn.L1Loss()

這里順便介紹一下pytorch loss函數(shù)里面 的reduction 參數(shù)

在新的pytorch版本里,使用reduction 參數(shù)取代了舊版本的size_average和reduce參數(shù)。

reduction 參數(shù)有三種選擇:

'elementwise_mean':為默認(rèn)情況,表明對N個樣本的loss進(jìn)行求平均之后返回(相當(dāng)于reduce=True,size_average=True);

'sum':指對n個樣本的loss求和(相當(dāng)于reduce=True,size_average=False);

'none':表示直接返回n分樣本的loss(相當(dāng)于reduce=False)

補充:在Pytorch下,由于反向傳播設(shè)置錯誤導(dǎo)致 loss不下降的原因及解決方案

在Pytorch下,由于反向傳播設(shè)置錯誤導(dǎo)致 loss不下降的原因及解決方案

剛剛接觸深度學(xué)習(xí)一段時間,一直在研究計算機視覺方面,現(xiàn)在也在嘗試實現(xiàn)自己的idea,從中也遇見了一些問題,這次就專門寫一下,自己由于在反向傳播(backward)過程中參數(shù)沒有設(shè)置好,而導(dǎo)致的loss不下降的原因。

對于多個網(wǎng)絡(luò)交替

描述

簡單描述一下我的網(wǎng)絡(luò)結(jié)構(gòu),我的網(wǎng)絡(luò)是有上下兩路,先對第一路網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使用groud truth對這一路的結(jié)果進(jìn)行監(jiān)督loss_steam1,得到訓(xùn)練好的feature.然后再將得到的feature級聯(lián)到第二路,通過網(wǎng)絡(luò)得到最后的結(jié)果,再用groud truth進(jìn)行監(jiān)督loss。

整個網(wǎng)絡(luò)基于VGG19網(wǎng)絡(luò),在pytorch下搭建,有GPU環(huán)境:

出現(xiàn)的情況,loss_steam1不怎么下降

這個問題確實折麼自己一段時間,結(jié)果發(fā)現(xiàn)自己出現(xiàn)了一個問題,下面將對這個問題進(jìn)行分析和解答:

PyTorch梯度傳遞

在PyTorch中,傳入網(wǎng)絡(luò)計算的數(shù)據(jù)類型必須是Variable類型, Variable包裝了一個Tensor,并且保存著梯度和創(chuàng)建這個Variablefunction的引用,換句話說,就是記錄網(wǎng)絡(luò)每層的梯度和網(wǎng)絡(luò)圖,可以實現(xiàn)梯度的反向傳遞.
則根據(jù)最后得到的loss可以逐步遞歸的求其每層的梯度,并實現(xiàn)權(quán)重更新。

在實現(xiàn)梯度反向傳遞時主要需要三步:

1、初始化梯度值:net.zero_grad() 清除網(wǎng)絡(luò)狀態(tài)

2、反向求解梯度:loss.backward() 反向傳播求梯度

3、更新參數(shù):optimizer.step() 更新參數(shù)

解決方案

自己在寫代碼的時候,還是沒有對自己的代碼搞明白。在反向求解梯度時,對第一路沒有進(jìn)行反向傳播,這樣肯定不能使這一路的更新,所以我就又加了一步:

loss_steam1.backward( retain_graph = True) //因為每次運行一次backward時,如果不加retain_graph = True,運行完后,計算圖都會free掉。

loss.backward()

這樣就夠了么?我當(dāng)時也是這么認(rèn)為的結(jié)果發(fā)現(xiàn)loss_steam1還是沒有降,又愁了好久,結(jié)果發(fā)現(xiàn)梯度有了,不更新參數(shù),怎么可能有用!

optimizer_steam1.step() //這項必須加
optimizer.step()

哈哈!這樣就完成了,效果也確實比以前好了很多。

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • pytorch 多個反向傳播操作
  • pytorch中的自定義反向傳播,求導(dǎo)實例
  • pytorch .detach() .detach_() 和 .data用于切斷反向傳播的實現(xiàn)
  • PyTorch: 梯度下降及反向傳播的實例詳解

標(biāo)簽:惠州 黑龍江 上海 四川 鷹潭 黔西 益陽 常德

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《pytorch loss反向傳播出錯的解決方案》,本文關(guān)鍵詞  pytorch,loss,反向,傳,播出,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《pytorch loss反向傳播出錯的解決方案》相關(guān)的同類信息!
  • 本頁收集關(guān)于pytorch loss反向傳播出錯的解決方案的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章