Смотрите # 6 здесь: http://blogs.msdn.com/sql_protocols/archive/2006/12/02/understanding-kerberos-and-ntlm-authentication-in-sql-server-connections.aspx
Это немного сложнее: http://support.microsoft.com/kb/811889/
Но я думаю, что любой из них выведет вас на правильный путь.
PS Это может быть лучше опубликовано на ServerFault ...