большой каталог файлов эхо

317
Michael J. Lee

Существуют ли какие-либо инструменты, которые будут передавать односторонние изменения из одного большого каталога (более 5 миллионов файлов) в другой в сети Windows? Мне также нужно, чтобы она была достаточно быстрой после первоначальной сборки. Я играл с несколькими инструментами, такими как Microsoft SyncToy и Cobian Backup, но, похоже, они не созданы для такого размера.

Менее 1% файлов изменяется каждые 1 час, но проблема с дизайном системы каталогов, которую я унаследовал, заключается в том, что изменения могут быть в любой позиции в дереве каталогов, и нет журнала изменений, поэтому полное сканирование в прошлом формировалось, что занимало около 4-5 часов.

Я создал специальный инструмент, который будет выполнять синхронизацию намного быстрее, чем другие, но у меня просто нет времени, чтобы встроить все навороты, поэтому я ищу что-то, что поможет в это время. Я планирую изменить систему, но на данный момент я просто хочу синхронизировать их с меньшим временем задержки.

[Обновление] -Мои файлы довольно маленькие, размером от 10-30 КБ каждый -Дерево каталогов довольно мелкое.

1

2 ответа на вопрос

2
Zoredache

Когда вы говорите «сеть Windows», вы имеете в виду сеть Windows с Active Directory? Одна возможность, что вы должны смотреть на DFS-R. Более новые версии DFS-R следят за файловой системой и передают только изменения. Если у вас есть 5 миллионов файлов, возможно, вы приближаетесь к пределам DFS .

Да, у нас есть несколько коробок с выпуском Windows Storage Server, и мы пытались включить DFS вчера, и ящику, похоже, не нравилось глотать столько данных, и нам пришлось остановить его, потому что клиенты начали звонить. Кажется ли вам лучше начинать с одной папки за раз, чем со всем зверем? Michael J. Lee 13 лет назад 0
DFS-R может быть подходящим вариантом, но начальная синхронизация обязательно займет очень много времени. Этот [MS Blog] (http://blogs.technet.com/b/askds/archive/2010/09/07/replacing-dfsr-member-hardware-or-os-part-2-pre-seeding.aspx) охватывает, как предварительно посеять для DFS Zoredache 13 лет назад 0
+1 позвольте мне взглянуть на это немного больше Michael J. Lee 13 лет назад 0
0
jftuga

Вы можете попробовать один из них:

cwrsync - Rsync для Windows

Robocopy

Ни один из этих инструментов не избегает полного сканирования файловой системы. С миллионами файлов это займет много времени. Zoredache 13 лет назад 0
да, оба требуют много времени для сканирования! Я удивлен, что никто не построил систему параллельного сканирования и копирования. Мои файлы маленькие (10-30 кб), поэтому копирование должно идти довольно быстро Michael J. Lee 13 лет назад 0

Похожие вопросы