Неограниченная подкаталог в robots.txt

359
xxl3ww

Хорошо, в настоящее время мы запрещаем индексировать каталог / Assets / в нашем файле robots.txt. В каталоге / Assets / есть один каталог, который я хочу проиндексировать (/ Assets / product_labels /). Есть ли способ разрешить этот один каталог, кроме перемещения его в другой каталог?

2

2 ответа на вопрос

2
nik

Вы можете явно указать Disallowдля всех файлов и папок, которые являются «братьями и сестрами», папку, которую хотите оставить открытой.

Disallow: /Assets/Dir1 Disallow: /Assets/Dir2 Disallow: /Assets/DirN Disallow: /Assets/File1 Disallow: /Assets/File1 Disallow: /Assets/FileN

Просто оставь /Assets/product_labelsвне - чтобы это позволить.

Создание этого списка может быть автоматизировано, но помните, что это должно быть сделано для каждого нового каталога или файла, который вы храните в Assetsтом, что вы хотите запретить.

Конечно, если у вас все хорошо, product_labelsвыходить из Assetsнего будет чище.

0
xxl3ww

«В настоящее время это немного неловко, так как нет поля« Разрешить ». Самый простой способ - поместить все файлы, которые нужно запретить, в отдельный каталог, сказать« вещи », и оставить один файл на уровне выше этого каталога: "-> Цитируется по адресу: www.robotstxt.org

Похожие вопросы