Для этого нужно обратиться к документации и протоколу управления роботами. Каждый уважающая себя поисковая система уважает разработанные стандарты и следует им. При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:



Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше. Но имейте ввиду делая интервал слишком большим, вы замедляете темпы индексации сайта, и индексация проходит гораздо дольше. Все как говорится должно быть в меру.

Автор: celsoft
Источник: dle-news.ru