pytorch 兩個GPU同時訓(xùn)練的解決方案

使用場景

我有兩個GPU卡。我希望我兩個GPU能并行運(yùn)行兩個網(wǎng)絡(luò)模型。

代碼

錯誤代碼1：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號GPU不報錯，1號GPU報錯。錯誤如下

RuntimeError: Expected tensor for argument #1 ‘input' to have the same device as tensor for argument #2 ‘weight'; but device 0 does not equal 1 (while checking arguments for cudnn_convolution)

錯誤代碼2：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號GPU不報錯，1號GPU報錯。錯誤如下

CUDA: invalid device ordinal

正確代碼如下：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

pytorch 多個gpu遇到的問題

目前所在學(xué)校的計算機(jī)系自己搭建了個GPU Farm，設(shè)備是GTX 1080 Ti的，看起來還算ok，但其實(shí)細(xì)究起來還挺雞肋的。但是總對于數(shù)據(jù)量巨大的項目，還是需要跑代碼吧，將就著用了。因為資源有限，分配到超過1個gpu需要排隊，所以從來沒嘗試過使用多個gpu。最近由于數(shù)據(jù)量變大，也急于取得進(jìn)展，因此開始嘗試分配多個gpu。使用的過程中出現(xiàn)的問題，在此做個記錄。

首先，因為不同平臺的GPU Farm搭建的規(guī)則不一樣，如何分配到多個gpu在此就不做記錄了。不得不說，學(xué)校的GPU Farm資源少的可憐，分配到2個gpu常常要排隊半小時。

以下羅列遇到的問題。

torch.nn.DataParallel()

因為對pytorch的理解還不夠深，因此為了提高速度，從官網(wǎng)上注意到DataParallel，據(jù)說最簡單的方法是直接用

model = torch.nn.DataParallel(model)
model.cuda()

來實(shí)現(xiàn)，但是萬萬沒想到它給我?guī)淼臅r間浪費(fèi)還真不是一星半點(diǎn)。

首先我分配到了2個gpu設(shè)備，之后在我的代碼中只添加了如上的命令，而后便收到了如下報錯

ValueError: only one element tensors can be converted to Python scalars

這個報錯直指我的 loss.item()，通過debug我發(fā)現(xiàn)它的tensor dimension的確變成了2個elements。在做了更多無效debug和上網(wǎng)查閱之后，我鬼使神差地調(diào)整回了1個gpu想看看效果會不會不一樣，然后居然順利運(yùn)行了。

稍微思考一下，感覺倒是很合理。假設(shè)兩個gpu并行同時各自訓(xùn)練一個batch，那么得到的loss自然應(yīng)該是2個elements，淺顯地認(rèn)為將其看做兩個batch訓(xùn)練的loss結(jié)果就可以了。

目前手頭有比較急于出結(jié)果的數(shù)據(jù)集和項目，因此暫時沒有過多的時間去研究具體為什么會有這種情況的出現(xiàn)，不過這也證實(shí)了想要合理正確地運(yùn)用多個gpu同時作業(yè)，顯然不是那么簡單地幾行代碼就能解決的。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。