Новые вопросы с тегом «robots.txt»

Итак, недавно я проверил свой сайт с помощью теста, удобного для мобильных устройств Google, и основной проблемой при загрузке было «Googlebot заблокирован robots.txt». Мой robots.txt разрешает боту Google, я думаю? Что вы думаете, ребята? В чем здесь проблема?

Мы настроили один из веб-сайтов на сервере, а сайт строит в среде php и symfony, так как мое требование состоит в том, чтобы запретить Google индексирование и ниже моего файла robot.txt и не позволяет ли использовать .htaccess? User-agent: * Disallow: Так как же это предотвратить и проверить?

Я замечаю, что в некоторых случаях статьи о платных новостях, похоже, индексируются Google, потому что отрывки из истории появляются в поисковой выдаче. Тем не менее, когда я захожу на эти веб-сайты с использованием идентификатора робота-робота (Google), информация не появляется для сканирования ста...

Итак, я удалил IIS на моем сервере Windows и решил попробовать Xampp для размещения моих доменов. Порт 80 используется, и я перепробовал все исправления, с которыми столкнулся за последние 2 дня. Мне нужно было выяснить, что использует идентификатор процесса 4 на моем сервере, который является систе...

Многие веб-сайты включают в свои условия обслуживания информацию о запрете автоматического доступа. Один пример находится в файле robots.txt на ebay: Использование роботов или других автоматизированных средств для доступа к сайту eBay \ n без явного разрешения eBay строго запрещено. Несмотря на выш...