Я нашел решение, благодаря следующему вопросу: https://stackoverflow.com/questions/11554324/batch-file-errorlevel-issue
setlocal enabledelayedexpansion ssh -i private_linux_key user@machine "exit 1" || echo !errorlevel!
Или даже проще
ssh -i private_linux_key user@machine "exit 1" exit %ERRORLEVEL%
Последнее возможно только тогда, когда больше нет дополнительных строк сценария после exit
, конечно
Чтобы узнать больше о enabledelayedexpansion
различиях оболочек для windows / unix: http://blogs.msdn.com/b/oldnewthing/archive/2006/08/23/714650.aspx