Подборка 6 вопросов с тегом «sitemap» на WikiRoot: ответы IT-специалистов по Windows, Linux, Excel, сетям и программированию.
6 вопросов
Я очень незнаком с веб-инструментами Google, такими как Google Analytics или Search Console, (поэтому извиняюсь, если что-то из этого не имеет смысла), и я впервые имею дело с пров...
Ответ: Вы пытались написать это с помощью wget и cron? Посмотрите на --spiderфлаг Wget . Похоже, это все, что вам нужно, кроме cron, чтобы запускать его время от времени.
Ответ: После долгих исследований ни один инструмент не удовлетворил меня, поэтому я пишу свой собственный, используя http://scrapy.org/doc/
Ответ: Вы можете использовать скрипт Python здесь Этот скрипт получает любые ссылки, начинающиеся с http import re f = open('sitemap.xml','r') res = f.readlines() for d in res: data = re....
Ответ: http://office.microsoft.com/en-us/visio-help/map-protected-web-site-areas-HP001055666.aspx Для веб-сайтов, использующих HTTP-аутентификацию: в меню «Карта веб-сайта» нажмите «Созда...
Ответ: Вы можете явно указать Disallowдля всех файлов и папок, которые являются «братьями и сестрами», папку, которую хотите оставить открытой. Disallow: /Assets/Dir1 Disallow: /Assets/Di...
Ctrl+K или / — быстрый поиск Начните вводить запрос для поиска по сайту