Да, будет существенная разница. Если оба потока установлены на логическое ядро 0, два потока никогда не будут работать одновременно и по очереди будут использовать логическое ядро 0. С одним потоком на логическое ядро 0, а другой - на логическое ядро 8, два потока могут работать на в то же время, разделяя ресурсы в этом физическом ядре.
Представьте себе, если один поток выполняет почти полностью целочисленные операции, а другой - почти полностью операции с плавающей запятой. Если они оба связаны с логическим ядром 0, физическое ядро будет чередовать, если его целые единицы простаивают, а его единицы с плавающей запятой простаивают. Если для одного установлено значение 0, а для другого - 8, один поток может использовать целочисленные единицы, тогда как другой поток использует единицы с плавающей запятой физического ядра.