Сбой зеркалирования на сайте - 403 Запрещено, даже при использовании user-agent

9375
superuser

Мне нужно скачать последние правила Suricata из этого URL:

http://rules.emergingthreats.net/blockrules/

Я пытаюсь составить свои собственные правила, основанные на различных появляющихся правилах и правилах фырканья. Пытаюсь заменить alertна drop.

Я даже не могу скачать все правила, потому что Apache 2.2.22 rules.emergingthreats.netнастроен как-то против wget.

Моя команда выглядит так:

# wget -m --user-agent="Mozilla/5.0 (X11; U; Linux x86_64; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3" "https://rules.emergingthreats.net/"

Я пытаюсь отразить весь сайт. 

--2014-07-22 06:18:49-- https://rules.emergingthreats.net/ Resolving rules.emergingthreats.net (rules.emergingthreats.net)... 204.12.217.19, 96.43.137.99 Connecting to rules.emergingthreats.net (rules.emergingthreats.net)|204.12.217.19|:443... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: ‘rules.emergingthreats.net/index.html’  [ <=> ] 1,951 --.-K/s in 0s   Last-modified header missing -- time-stamps turned off. 2014-07-22 06:18:50 (23.3 MB/s) - ‘rules.emergingthreats.net/index.html’ saved [1951]

После этого все внутренние каталоги дают мне 403 Forbidden:

--2014-07-22 06:18:51-- https://rules.emergingthreats.net/blockrules/ Reusing existing connection to rules.emergingthreats.net:443. HTTP request sent, awaiting response... 403 Forbidden 2014-07-22 06:18:51 ERROR 403: Forbidden.

Я успешно просматриваю сайт (каталог), я могу скачать любой файл с помощью моего браузера - chromium (Ubuntu).

Почему не wgetудается получить данные?

1

1 ответ на вопрос

0
OregonJames

Try 

wget -mk -w 20 --user-agent="Mozilla/4.5 (X11; U; Linux x86_64; en-US)" https://rules.emergingthreats.net

The site may not know newer browser spec and you had the site url within quotes

Работает. Хо, ты знаешь? superuser 10 лет назад 0
Я поставил -w 30, завтра должно быть готово. Спасибо. superuser 10 лет назад 0

Похожие вопросы