обмен памяти для 128 ГБ оперативной памяти на 24 ГБ оперативной памяти

291
florent teppe

Делая некоторую работу, используя машинное обучение, мне нужно обучить модели для моего языка. Так как они предоставляют только английский, немецкий и испанский, они советуют взять корпус Википедии и обучить модели с этим.

Проблема в том, что они советуют 128 ГБ оперативной памяти. Машина, на которой я буду тренироваться, имеет 24 ГБ ОЗУ и менее 100 ГБ свободного дискового пространства.

Могу ли я сделать обмен, который заполняет весь диск? С 75% оперативной памяти на диске работа, вероятно, займет больше 100% времени (они уже говорят, что на хорошей машине больше суток)?

Целесообразно ли использовать машину объемом 24 ГБ с большей частью подкачки памяти или мне следует искать виртуальную машину AWS, которая соответствует требованиям с самого начала?

0
«100% дольше» - это огромное преуменьшение. Замена диска настолько медленная (особенно если вы находитесь на жестком диске), вы, вероятно, смотрите на * минимум * 1000% дольше. Даже это может быть отключено на порядок или два. Bob 6 лет назад 3
Итак, это, вероятно, не разумное решение. Спасибо, я поищу другую машину или уже обученную модель. florent teppe 6 лет назад 0
@ Боб из опыта (3-секундное задание Matlab, требующее более 30 ГБ памяти в системе с 4 ГБ ОЗУ после автоматического кодирования в C), составляло примерно 700 раз. Конечно, это будет зависеть от того, что именно выполняется. И если на «хорошей машине» потребуется примерно один день, вы бы все равно рассчитывали на два года обучения с этим ... Вы могли бы почти купить приличную (достаточную) машину для работы с сохранением затрат на электроэнергию. Baldrickk 6 лет назад 0

0 ответов на вопрос

Похожие вопросы