То, что память так забивается при раздаче больших файлов, притом что сам процесс торрент-клиента особо ее не использует - главный косяк некоторых версий uTorrent/Bittorrent.
uTorrent, он же Bittorrent, читает файлы с диска, ОС кеширует куски файлов в память, но не присваивает эту память процессу uTorrent.exe, т.к. файловый кеш - глобальный, и им может пользоваться любой процесс.
Т.к. к файлам идет постоянное обращение, эти файлы постепенно занимают всю свободную память, а затем и вытесняют все остальное. Это, конечно, ненормально. У файлов, кешированных для uTorrent, должен быть наименьший приоритет в памяти, чтобы не мешать работе остальных.
Если интересно, статьи про работу памяти в Windows и про uTorrent:
Часть 1
https://geektimes.ru/post/107605/
Часть 2
https://geektimes.ru/post/107607/
Часть 3
https://geektimes.ru/post/107637/ (здесь пример с uTorrent и решение)