Марат-блог
Услуги по продвижению и разработке сайта
Отправить заявку
Заказать обратный звонок

Спасибо, Ваша заявка принята.

В ближайшее время менеджер свяжется с Вами.

Главная Новости Google рассказал о двух факторах, влияющих на сканирование сайта роботом GoogleBot
Google рассказал о двух факторах, влияющих на сканирование сайта роботом GoogleBot
0
02 октября 2014

Google рассказал о двух факторах, влияющих на сканирование сайта роботом GoogleBot

С их помощью он определяет, когда роботу GoogleBot следует замедлить или остановить сканирование сайта.

К этим сигналам относятся:

• Время соединения (Connect Time)

Google смотрит на длительность установления соединения с сервером или веб-страницей. Если она становится все больше, он отступит и замедлит или остановит сканирование страниц сайта. Чтобы в конечном итоге не привести к остановке сервера, Google использует время соединения как фактор сканирования.

• Коды состояния HTTP (HTTP Status Codes)

Google также остановит или замедлит сканирование, если получит коды состояния сервера в диапазоне 5хх. Коды 5xx выделены под случаи неудачного выполнения операции по вине сервера. Полный список кодов можно посмотреть в Wikipedia. По словам Илльеса, когда Google видит эти коды, он отступает, чтобы не вызвать еще больше проблем для сервера.

В обоих случаях GoogleBot вернется к этому интернет-ресурсу позже, но отступит опять, если увидит указанные два сигнала, чтобы не вызвать еще больше проблем для пользователей, пытающихся зайти на сайт.