Содержание Рубрики: Индексация сайта

robots.txt для сайта wordpress

robots.txt для сайта wordpress 1

robots.txt для сайта wordpress 1

robots.txt для сайта wordpress. Ранее мы говорили об ускорении и улучшении процесса индексации статей. Причем рассматривали этот вопрос так, как будто поисковый робот ничего не знает и не умеет, а мы ему должны подсказать. Наверное вы еще не догадывается, что делает робот когда попадает на ваш сайт? А робот-паук, получив сигнал о том, что есть сайт, который надо посетить, тут же ставит его в очередь на индексацию. Именно поэтому индексация происходит не мгновенно по нашему требованию, а через какое-то время. И как только очередь доходит до вашего сайта этот робот-паук тут как тут. Он не стучится и не спрашивает разрешения, так как ему по умолчанию всё разрешено. А сразу вламывается на сайт, как полноправный хозяин и начинает шарить по всем закоулкам, по всем папкам и файлам, выискивая тексты и всевозможные ссылки.