Значение пропускной способности GPU VRAM для обучения нейронной сети

528
heavyLime

мой вопрос вкратце: является ли пропускная способность графического процессора VRAM узким местом в отношении глубоких нейронных сетей?

Более длинная версия: парень по имени Тим Деттмерс написал в своем блоге, что все соответствующие операции на самом графическом процессоре выполняются быстрее, чем пропускная способность может предоставить новые данные. Кажется разумным. Но теперь я вчера выполнил свои собственные эксперименты и выяснил, что с моим GPU дело обстоит иначе. Это Nvidia GTX 560TI с 1 ГБ видеопамяти. Как вы можете видеть, это довольно медленная карта и не имеет много VRAM. С AlexNet и 128x128 изображениями и размером пакета 4 - более крупные не помещаются в мою VRAM - ситуация такова: часы памяти 2200 МГц: 13:34 минуты часы памяти 1650 МГц: 14:17 минуты

Почти нет ускорения. 95,3% времени с 1 1/3 тактовой частоты памяти. Теперь может быть так, что в моей ситуации графический процессор действительно медленный или размер пакета просто мал, и поэтому он ограничен пропускной способностью PCIe (PCIe 2.0). Я также попробовал это сделать в собственной сети с параметрами ~ 1 миллион и различными размерами пакетов до 1024 с изображениями 40x40. Там это почти ничего не изменило.

После моего не слишком представительного эксперимента я все еще не уверен, что в действительности важно для производительности GPU.

Изменить: В этом случае каркас был Nvidia Digits с Nvidia Caffe Fork. Я знаю, что мой GPU очень медленный, но мой вопрос был связан с GPU в целом.

1
Я не знаю, как это повлияет на вашу конкретную ситуацию, но ваша карта действительно медленная и имеет только 384 потоковых процессора. Современные высокопроизводительные карты имеют около 4000. 5 на 560 - это 5-й генератор, и они только что анонсировали карты 10-го поколения. Потоковые ядра и скорость памяти имеют большое значение в любом программном обеспечении с ускорением на GPU. cybernard 7 лет назад 0
@cybernard Спасибо, я знаю, но мой вопрос подразумевался в общем смысле. heavyLime 7 лет назад 0

0 ответов на вопрос

Похожие вопросы