Очень даже может. Например, докачал какой-нибудь быстрый пир раздачу (или по какой-то причине отсоединился) - скорость отдачи резко падает. Появился новый быстрый пир (или вернулся старый) - скорость резко возрастает. Появление/исчезновение сида тоже может давать аналогичный эффект.
Состав участников раздач и их примерные скорости Вы вполне можете отследить (у себя в клиенте и на страницах раздач) при наличии желания и терпения.
Кроме того, скорость может падать из-за загруженности общего канала провайдера или из-за "проседания" его оборудования (например, при большом числе соединений или при большом числе мелких пакетов uTP).