Недавно написанные файлы внезапно падают на 4 КБ - OSX

566
Hugh

У меня есть небольшая проблема здесь ...

У меня есть ферма рендеринга, полная машин, которые записывают на центральный диск, и иногда, после того, как записана последовательность изображений (файлы DPX, 12 МБ на кадр), примерно через минуту после записи каждого файла, он внезапно падает от 12Мб до 4кб.

Я почти уверен, что нет ничего, что могло бы сделать это. ,

Приложение, которое создает файлы, это Shake.

Эта проблема возникала раньше, очень редко. Я, конечно, никогда не понимал, что на самом деле вызывает это.

Центральный диск - это рейд 10 Тб, к которому машины подключаются через NFS.

df -h дает мне следующее:

Кларк: / Объемы / Проекты 8.9Ti 7.7Ti 1.1Ti 88% / mount / projects

Так что не похоже, что ему не хватает места (у меня было 700 Гб свободного места, когда у него сегодня вечером возникла проблема, и я освободил нагрузку больше на случай, если это как- то связано с этим ...

Любая помощь приветствуется! Я действительно хочу выяснить, что вызывает это, поскольку это, безусловно, причиняет мне много боли ...

Редактировать:

Если вы хотите больше спецификаций сервера:

  • XServe под управлением OSX Server 10.5.8
  • Promise Raid VTrak E610f

Кроме того: данные, безусловно, были там, в течение пары минут. Я запустил процесс, чтобы скопировать его на другой компьютер, и этот другой компьютер видит изображения очень хорошо.

Больше редактировать:

Существует ли какой-либо инструмент, который будет отслеживать каждое создание или изменение файла в папке (или всей файловой системе) и точно сообщать мне, что происходит? Я хочу выяснить, есть ли какой-то мошеннический процесс, делающий что-то непослушное (это работает большую часть времени, поэтому я подозреваю, что нет) или что-то более низкое, чем это ...

3
Вы изучили содержимое файлов 4kb, чтобы увидеть, что они содержат? Это как-то связано с тем, что, по вашему мнению, должно быть в файлах? ChrisF 14 лет назад 0
Да, похоже, это первые 4k файла, который был написан. Hugh 14 лет назад 0
Инструментом для отслеживания изменений в fs является fs_usage (http://developer.apple.com/Mac/library/documentation/Darwin/Reference/ManPages/man1/fs_usage.1.html). Вы также можете использовать dtrace (http://developer.apple.com/mac/library/documentation/Darwin/Reference/ManPages/man1/dtrace.1.html). Я думаю, что 10.5 поддержали это, но я не уверен, в какой степени. Chris Johnsen 14 лет назад 1
Спасибо Крис - это потрясающе - я попробую это и посмотрю, смогу ли я понять это. Моя единственная проблема в том, что это происходит не всегда ... Я настрою все это, так что я буду готов в следующий раз, когда это начнет происходить. Hugh 14 лет назад 0
Да, и Крис - не стесняйтесь представить это как ответ, и я, безусловно, проголосую за него - это может не решить мои проблемы, но это определенно полезно для их выяснения. Hugh 14 лет назад 0
Просто хотел бы отметить, что 4 килобайта (4096 байт) - это общий размер кластера. Например, если я создаю 1-байтовый файл в моей системе, он указывает «размер на диске» как 4 килобайта (4096 байт). Так что, возможно, что-то мешает файловой системе для хранения цепочки кластеров этого файла. Bavi_H 14 лет назад 0
Мне кажется, что файл не закрывается должным образом, иначе учет свободного места на диске скрыт. Daniel R Hicks 13 лет назад 0
У меня были подобные проблемы однажды. Может быть, вы получаете ограничение на количество файлов в той же папке. Это может сделать вещи очень дикими! Попробуйте создать новую папку в другом каталоге и продолжить рендеринг там. Возможно работает .... Удачи! Это больше похоже на странную проблему конфигурации RAID, чем на проблему встряски ... Возможно, это проблема фермы, когда один компьютер убивает кадр из другого (например, закрывает кадр другого компьютера с неправильным размером) ... некоторая задержка параллелизма. о, сервисы поиска OS X тоже могут быть плохим парнем. H_7 13 лет назад 0

1 ответ на вопрос

0
polynomial

Специфический для вас вопрос об утилите для наблюдения за файловой активностью. То, что вы хотите, называется 'opensnoop' и поставляется с OS X:

http://developer.apple.com/library/mac/#DOCUMENTATION/Darwin/Reference/ManPages/man1/opensnoop.1m.html

# opensnoop # (in another terminal 'touch hi') UID PID COMM FD PATH  502 146 Finder 30 /Users/thedude  502 1247 touch 3 /dev/dtracehelper  502 1247 touch 3 hi  502 141 Dock -1 /Users/thedude/Applications 502 141 Dock 9 /Users/thedude  502 141 Dock 11 /Users/thedude  502 1225 zsh 3 /var/run/utmpx  0 58 mds 9 .  502 850 mdworker 7 /Users/thedude/hi  502 146 Finder 30 /Users/thedude