Вы так и не озвучили, насколько падает напряжение

Вы так и не озвучили, насколько падает напряжение на USB при его подключении. Что скачет - это я видел, но непонятно, где измеряли. На самом разъеме? Так же не сказали: такое поведение на всех разъемах USB или на каком-то конкретном.
Как вариант Вам - отследите всю цепь питания USB. От разъема и до БП. Это не сложно. После этого будет довольно просто вычислить "слабое звено".