Это похоже на ошибку:
Disallow: // Дело в том, что robots.txtспецификация, как указано здесь, четко гласит:
Также обратите внимание, что глобализация и регулярные выражения не поддерживаются ни в строках User-agent, ни в Disallow. '*' В поле User-agent является специальным значением, означающим «любой робот». В частности, вы не можете иметь такие строки, как «User-agent: bot », «Disallow: / tmp / *» или «Disallow: * .gif».
Но некоторые люди утверждают, что это не тот случай, например, этот сайт утверждает, что Google может обрабатывать сопоставление с шаблоном :
Сопоставление с образцом . В настоящее время сопоставление с образцом может использоваться тремя основными категориями: Google, Yahoo и Live Search. Значение сопоставления с образцом является значительным. Давайте сначала рассмотрим самый простой способ сопоставления с образцом, используя подстановочный знак звездочка.
Но независимо от этого, это //означает буквальный каталог каталога без имени, прикрепленного к этому каталогу, так как там нет подстановочных знаков ( *) или чего-либо еще. И //кажется странным.
Я думаю, что это какая-то ошибка. Да, веб-мастер IBM может ошибаться! Но я бы также предположил, что robots.txtкакая-то система автоматически генерируется, и каким-то образом такой путь /*/был преобразован в тот, //когда система robots.txtавтоматически генерировала этот путь .