Это не обязательно кодеки, может быть реализация того, как Winamp отображает видеокадры. Если он использует обновления 2D-пикселей старой школы, тогда переход от маленького окна вывода к большому полноэкранному окну значительно увеличивает количество записываемых пикселей.
Точно так же вы собираетесь "полный экран" или "развернутое окно"? Это две отдельные концепции, последняя, вероятно, означает, что пишется слишком много пикселей.
Если вы установите VLC так, чтобы он не использовал Direct3D механику дисплея, производительность для него также понизится. Проверка того, какие варианты есть у Winamp, будет уместной.
Если видео воспроизводится нормально в проигрывателе Windows Media, то, вероятно, это не кодеки, так как IIRC WMP и WinAmp используют одни и те же кодеки во время выполнения (они встроены в VLC).