Начиная с Lion, OS X поставляется не с Samba, а с другой реализацией SMB / CIFS.
В документации OS X нет опции для большого файла.
Возможно, вам просто нужно обновить установку OS X. У меня OS X Mountain Lion, и файлы объемом 3 ГБ копируются по SMB без проблем. Либо вам нужно перейти на Mountain Lion или более новую версию Lion.
Другая возможность, ваш сервер не поддерживает большие файлы и нуждается в обновлении.