Значение пропускной способности GPU VRAM для обучения нейронной сети
мой вопрос вкратце: является ли пропускная способность графического процессора VRAM узким местом в отношении глубоких нейронных сетей?
Более длинная версия: парень по имени Тим Деттмерс написал в своем блоге, что все соответствующие операции на самом графическом процессоре выполняются быстрее, чем пропускная способность может предоставить новые данные. Кажется разумным. Но теперь я вчера выполнил свои собственные эксперименты и выяснил, что с моим GPU дело обстоит иначе. Это Nvidia GTX 560TI с 1 ГБ видеопамяти. Как вы можете видеть, это довольно медленная карта и не имеет много VRAM. С AlexNet и 128x128 изображениями и размером пакета 4 - более крупные не помещаются в мою VRAM - ситуация такова: часы памяти 2200 МГц: 13:34 минуты часы памяти 1650 МГц: 14:17 минуты
Почти нет ускорения. 95,3% времени с 1 1/3 тактовой частоты памяти. Теперь может быть так, что в моей ситуации графический процессор действительно медленный или размер пакета просто мал, и поэтому он ограничен пропускной способностью PCIe (PCIe 2.0). Я также попробовал это сделать в собственной сети с параметрами ~ 1 миллион и различными размерами пакетов до 1024 с изображениями 40x40. Там это почти ничего не изменило.
После моего не слишком представительного эксперимента я все еще не уверен, что в действительности важно для производительности GPU.
Изменить: В этом случае каркас был Nvidia Digits с Nvidia Caffe Fork. Я знаю, что мой GPU очень медленный, но мой вопрос был связан с GPU в целом.
0 ответов на вопрос
Похожие вопросы
-
5
Существуют ли беспроводные маршрутизаторы, которые позволяют контролировать и регулировать пропускну...
-
3
Как максимально использовать время автономной работы ноутбука на ПК с Windows?
-
8
Почему скорость загрузки ниже, чем скорость загрузки в обычных интернет-соединениях?
-
-
1
Что можно отключить на Windows XP, чтобы освободить память, не ломая все
-
2
Что можно отключить на ноутбуке Vista, чтобы освободить ресурсы
-
5
Почему фанат моего процессора гонит видео или виртуальные машины?
-
4
Firefox 3.5 медленно, чтобы начать выпуск
-
2
Как мне интерпретировать номера памяти в диспетчере задач Windows?
-
4
Какие факторы наиболее важны при рассмотрении аспектов производительности материнской платы?
-
6
Установка Windows 7 по умолчанию: что нужно изменить, чтобы сделать это быстрее?