Что это?
Это добавление страниц сайта в базу поисковиков, т.н. индекс поисковых систем. Наличие сайта в индексе позволит пользователям получить к нему доступ.
Как работает?
У каждой поисковый системы есть свои роботы-краулеры, которые обходят сайты, сканируя их страницы, и те попадают в индекс. После этого страницы становятся доступны пользователям, которые вводят те или иные запросы в строке поиска.
На что влияет индексация
- На видимость в поиске — без индексации сайт будет невидимкой.
- На трафик — часть трафика приходит из поисковых система, поэтому чем лучше проиндексирован сайт, тем больше вероятность перехода на него по поисковым запросам.
Как сделать так, чтобы сайт индексировался?
- Все новые страницы на сайте необходимо добавлять в Яндекс.Вебмастер и Google Search Console, чтобы они были просканированы роботами в принудительном порядке.
- Использовать служебные файлы sitemap.xml и robots.txt, чтобы поисковые роботы не тратили свой краулинговый бюджет (количество сканирований) впустую, а строго на важные для продвижения страницы.
- Регулярно следить за индексированием сайта, чтобы не допустить выпадания страниц из индекса.
- Улучшить структуру сайта, обеспечить быструю скорость загрузки страниц, Создавать качественный контент — все это положительно влияет на индексацию сайта.
Когда нужно закрывать сайт или его разделы от индексации?
- На время разработки, когда сайт еще не введен в эксплуатацию, его рекомендуется держать закрытым.
- Закрытыми от индексации следует держать служебные, технические и малоценные страницы.
- Страницы авторизации, личный кабинет, результаты поиска по сайту и др. должны быть закрыты от индексации для защиты данных пользователей.
- При переезде сайта на новый адрес.
- Страницы с дублирующимся контентом также стоит закрывать от роботов, чтобы избежать санкций поисковых систем за неуникальный контент.
Как закрыть сайт или его разделы от индексации?
- В файле robots.txt с помощью директивы Disallow.
- В коде страницы с помощью тега .
