Вообще-то папка plugins изначально находится в папке с программой, только в ней (в папке plugins) сначала лежит только один текстовый файл, в котором говорится, что все положенные в нее фильтры *.vdf при запуске программы автоматически загружаются. Возможно, если у вас был дистрибутив программы VirtualDub, она криво инсталлировалась. Попробуйте скачать программу по ссылкам в этой ветке:
http://forum.kinozal.tv/showthread.php?t=300.
А какого рода программа пишет ошибку? Может там кроется и ответ.