看代碼吧~
class Net(nn.Module):
…
model = Net()
…
model.train() # 把module設(shè)成訓(xùn)練模式，對(duì)Dropout和BatchNorm有影響
model.eval() # 把module設(shè)置為預(yù)測(cè)模式，對(duì)Dropout和BatchNorm模塊有影響
補(bǔ)充：Pytorch遇到的坑——訓(xùn)練模式和測(cè)試模式切換
由于訓(xùn)練的時(shí)候Dropout和BN層起作用，每個(gè)batch BN層的參數(shù)不一樣，dropout在訓(xùn)練時(shí)隨機(jī)失效點(diǎn)具有隨機(jī)性，所以訓(xùn)練和測(cè)試要區(qū)分開來。
使用時(shí)切記要根據(jù)實(shí)際情況切換：
model.train()
model.eval()
補(bǔ)充：Pytorch在測(cè)試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題
引言
今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測(cè)試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗(yàn)證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。
現(xiàn)象
此前的錯(cuò)誤代碼是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
應(yīng)該改為
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
當(dāng)時(shí)有個(gè)疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。當(dāng)使用eval()時(shí)，模型會(huì)自動(dòng)固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會(huì)取平均，可能導(dǎo)致生成的圖片顏色失真。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- pytorch Dropout過擬合的操作
- 淺談pytorch中的dropout的概率p
- PyTorch 實(shí)現(xiàn)L2正則化以及Dropout的操作
- pytorch 實(shí)現(xiàn)在測(cè)試的時(shí)候啟用dropout
- pytorch 中nn.Dropout的使用說明
- Pytorch之如何dropout避免過擬合
