Колеблющиеся скорости передачи с md RAID5 / vsftpd

754
Der Hochstapler

У меня есть сервер Ubuntu 8.04.4 с md RAID5, состоящим из 9 дисков. При передаче большого количества данных (через vsftpd) я заметил очень сильные колебания скорости передачи.
Например, во время передачи архива объемом 20 ГБ, каждая пара из 100 МБ, передача будет полностью остановлена ​​на несколько секунд. Тогда это вернулось бы до ~ 55 МБ / с. И это будет повторяться снова и снова; оставляя меня с общей скоростью передачи около 10 МБ / с.
Сервер находится в той же локальной сети 1 ГБ, что и компьютер, на котором я работаю, поэтому я предполагаю, что проблема не в локальной сети.
Я наблюдал такое поведение на этом сервере несколько раз в прошлом, когда мне приходилось передавать большие объемы данных (более 200 МБ).

Глядя на выходе iostat, topили наши Кактусы графы не давал мне никаких указаний на то, что может привести к этой проблеме.

Любая идея о том, как диагностировать проблему, как это было бы оценено.

1

3 ответа на вопрос

0
user55325

Честно говоря, я не буду использовать FTP-передачу для измерения скорости - это устаревший протокол, и я не удивлюсь, если он замедлит вас.

Можете ли вы экспортировать каталог с помощью NFS и попробовать перенести файлы таким образом?

Конечно, я мог бы сделать это. Было бы полезно увидеть, связана ли проблема с `vsftpd` или нижележащими уровнями. Но, как правило, у меня нет этой проблемы с другими серверами (доступ к которым осуществляется через FTP). Так что я должен быть в состоянии решить эту проблему с текущей настройкой (надеюсь). Der Hochstapler 13 лет назад 0
Хорошо, я попробовал это с акцией Samba. Такое же поведение Поэтому я не думаю, что этот уровень является проблемой здесь. Der Hochstapler 13 лет назад 0
Ну, тогда я в тупике. Сожалею. user55325 13 лет назад 0
0
Saurabh Barjatiya

И ftp, и samba не используют сжатие. Используйте rysnc с флагами --progress и -Z, чтобы использовать сжатие и сообщать о прогрессе.

Если большой объем данных - это не большое количество файлов, а несколько файлов большого размера (> 2 ГБ), проблема может быть связана с разреженными файлами.

Также проверьте «more / proc / mdstat», когда скорости медленные, чтобы убедиться, что скорости не медленные из-за повторной синхронизации массива md.

Я обычно взаимодействую с сервером с рабочих станций Windows (поэтому нет rsync). Эта проблема также может наблюдаться при передаче большого количества небольших файлов (общий объем данных здесь важен). Я проверял `mdstat` во время переводов; там ничего не меняется. Der Hochstapler 13 лет назад 0
0
Der Hochstapler

Я до сих пор понятия не имею, что было причиной проблемы. В конце концов я заподозрил, что процессор системы слишком слабый (высокая загрузка, высокая загрузка процессора).

Сегодня я обновил систему до Ubuntu 10.04, и проблема, похоже, решилась сама собой. Производительность пока не так стабильна, как хотелось бы, но в среднем она улучшилась как минимум в 10 раз.

Похожие вопросы