В вашем первом примере, который вы говорите, что все в порядке, также есть задержанный ответ, хотя TTL такой же, как и другие эхо-запросы, поэтому похоже, что у вас где-то есть случайная задержка.
64 байта из 172.XX36: icmp_seq = 3 ttl = 253 время = 477 мс
Однако переменные TTL, кажется, предполагают, что у вас есть проблема маршрутизации где-то
Я бы запустил traceroute (или tracert в Windows), чтобы попытаться увидеть, куда на самом деле идут ваши эхо-запросы