Загрузка / обновление веб-страниц, перечисленных в карте сайта XML

367
unor

Я ищу инструмент FLOSS, который загружает все страницы (и встроенные ресурсы, например изображения), связанные в карте сайта XML (созданной в соответствии с http://www.sitemaps.org/ ).

Инструмент должен регулярно сканировать карту сайта и искать новые и удаленные URL-адреса и изменения в lastmodэлементе. Таким образом, всякий раз, когда страница добавляется / удаляется / обновляется, инструмент должен применить изменения.

Некоторые файлы Sitemap отображают вложенные карты сайта в sitemapindex→ sitemap. Инструмент должен понимать это и загружать все связанные вложенные карты сайта и искать там URL-адреса.

Я знаю, что есть инструменты, которые позволяют мне извлекать все URL-адреса из карты сайта, чтобы я мог передавать их в wget или аналогичные инструменты (см., Например: Извлечение ссылок из карты сайта (xml) ). Но это не поможет получить уведомление об обновлениях страниц. Отслеживание самих веб-страниц на наличие обновлений не работает, поскольку «вторичный» контент на страницах меняется ежедневно, но lastmodобновляется только при изменении соответствующего контента.

0

1 ответ на вопрос

1
dotancohen

Вы пытались написать это с помощью wget и cron? Посмотрите на --spiderфлаг Wget . Похоже, это все, что вам нужно, кроме cron, чтобы запускать его время от времени.

Похожие вопросы