1、梯度爆炸
2、學(xué)習(xí)率太大
3、數(shù)據(jù)本身有問(wèn)題
4、backward時(shí)，某些方法造成0在分母上， 如：使用方法sqrt()
定位造成nan的代碼：
import torch # 異常檢測(cè)開(kāi)啟 torch.autograd.set_detect_anomaly(True) # 反向傳播時(shí)檢測(cè)是否有異常值，定位code with torch.autograd.detect_anomaly(): loss.backward()
在構(gòu)建網(wǎng)絡(luò)框架后，運(yùn)行代碼，發(fā)現(xiàn)很多tensor出現(xiàn)了inf值或者nan,在很多博客上沒(méi)有找到對(duì)應(yīng)的解決方法，大部分是基于numpy寫(xiě)的，比較麻煩。
下面基于torch BIF函數(shù)實(shí)現(xiàn)替換這2個(gè)值。
a = torch.Tensor([[1, 2, np.nan], [np.inf, np.nan, 4], [3, 4, 5]])
a
Out[158]:
tensor([[1., 2., nan],
[inf, nan, 4.],
[3., 4., 5.]])
下面把nan值還為0：
a = torch.where(torch.isnan(a), torch.full_like(a, 0), a)
a
Out[160]:
tensor([[1., 2., 0.],
[inf, 0., 4.],
[3., 4., 5.]])
接著把inf替換為1：
a = torch.where(torch.isinf(a), torch.full_like(a, 0), a)
a
Out[162]:
tensor([[1., 2., 0.],
[0., 0., 4.],
[3., 4., 5.]])
tips:對(duì)于某些tensor,可能已經(jīng)開(kāi)啟了grad功能，需要把它先轉(zhuǎn)為普通tensor（使用.data）
torch.where(condition,T,F) 函數(shù)有三個(gè)輸入值，
第一個(gè)是判斷條件，
第二個(gè)是符合條件的設(shè)置值，
第三個(gè)是不符合條件的設(shè)置值
torch.full_like(input, fill_value, …) 返回與input相同size，單位值為fill_value的矩陣
#如下面這個(gè)例子，a為3*3的tensor
b =torch.full_like(a, 0,)
b
Out[165]:
tensor([[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.]])
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
標(biāo)簽：六盤(pán)水 撫州 南寧 揚(yáng)州 聊城 楊凌 牡丹江 迪慶
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《pytorch 梯度NAN異常值的解決方案》，本文關(guān)鍵詞 pytorch,梯度,NAN,異常,值,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。
