Как и для mplayer не забудьте собрать XMMS с поддержкой особенностей вашего процессора

Установите значение для output-buffer побольше (где-то 2500-3000)

Preferences → Output Plugin → Configure → Buffering → Buffer size(ms)

или то же самое, но для локализованной версии

Настройки → ВАШ плагин вывода звука → Настройка → Дополнительные настройки → Размер буфера (милисек)

Старайтесь использовать качественные звуковые карты, которые имеют более полную обработку звука на уровне железа