Марат-блог
Услуги по продвижению и разработке сайта
Отправить заявку
Заказать обратный звонок

Спасибо, Ваша заявка принята.

В ближайшее время менеджер свяжется с Вами.

Главная Новости В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt
В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt
40
17 июля 2014

В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

  • покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
  • позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
  • обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает внутреннюю ошибку сервера 500, допущенную при добавлении контента в файлы robots.txt file, Google автоматически приостанавливает сканирование веб-сайта.