- Скачать Wireshark.
- Запишите настоящий браузер, попавший на сайт.
- Установите фильтр
tcp.port == 80
и найдите только что сделанный запрос. - Щелкните правой кнопкой мыши на пакете и выберите
Follow TCP Stream
и сохраните этот текст где-нибудь.
Теперь у вас есть полный рабочий разговор от вашего веб-браузера до веб-сайта, который вы хотите просмотреть.
Повторите процесс для вашего скрипта и выясните, чем они отличаются, затем внесите соответствующие изменения, чтобы исправить это. Как только они будут идентичны, сайт не сможет увидеть разницу между вами и вашим сценарием.
Если вам нужна большая гибкость, я предлагаю писать простой скрипт на Python, а не использовать wget
.