net = AlexNet() net.cuda()#轉(zhuǎn)移到CUDA上
criterion = nn.CrossEntropyLoss() criterion = criterion.cuda()
這一步不做也可以，因?yàn)閘oss是根據(jù)out、label算出來的
loss = criterion(out, label)
只要out、label在CUDA上，loss自然也在CUDA上了，但是發(fā)現(xiàn)不轉(zhuǎn)移到CUDA上準(zhǔn)確率竟然降低了1%
這里要解釋一下數(shù)據(jù)集使用方法
#download the dataset
train_set = CIFAR10("./data_cifar10", train=True, transform=data_tf, download=True)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)
dataset是把所有的input,label都制作成了一個大的多維數(shù)組
dataloader是在這個大的多維數(shù)組里采樣制作成batch，用這些batch來訓(xùn)練
for im, label in train_data:
i = i + 1
im = im.cuda()#把數(shù)據(jù)遷移到CUDA上
im = Variable(im)#把數(shù)據(jù)放到Variable里
label = label.cuda()
label =Variable(label)
out = net(im)#the output should have the size of (N,10)
遍歷batch的時候，首先要把拿出來的Image、label都轉(zhuǎn)移到CUDA上，這樣接下來的計算都是在CUDA上了
開始的時候只在轉(zhuǎn)成Variable以后才遷移到CUDA上，這樣在網(wǎng)絡(luò)傳播過程中就數(shù)據(jù)不是在CUDA上了，所以一直報錯
查看有哪些可用的gpu
nvidia -smi
實(shí)時查看gpu信息1代表每1秒刷新一次
watch -n -1 nvidia -smi
指定使用的gpu
import os # 使用第一張與第三張GPU卡 os.environ["CUDA_VISIBLE_DEVICES"] = "0,3"
以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。
標(biāo)簽：江蘇 龍巖 酒泉 云南 金融催收 商丘 寧夏 定西
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《pytorch 如何在GPU上訓(xùn)練》，本文關(guān)鍵詞 pytorch,如,何在,GPU,上,訓(xùn)練,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
