Возможно не всё упирается в обработку изображения фильтрами, причиной могут быть и тонкие
настройки кодека XviD. Ещё один момент важен: xvid_encraw не совсем та версия, которая обеспечивает максимальное качество указанного кодека и, стоит видимо сохранить скрипт обработки, запомнив какой битрейт необходимо выставить вам при двухпроходном кодировании в заданный размер, а затем открыть этот скрипт в VD и кодировать нормальной системной версией кодека XviD и, говорят, что старенький XviD 1.0.3 обеспечивает более высокое качество кодировки, хотя надо обратить внимание и на XviD 1.3.0 пропатченной сборки от
Jawora