Как проверить разрешена ли индексация сайта поисковыми системами, запрещена ли индексация служебных страниц сайта

В общем случае, если на сайт есть переходы с поисковых систем, то он разрешен к индексации. Как всегда в продвижении, есть несколько но:

• Не все нужные страницы могут быть открыты для индексации
• В индексе поисковых систем могут содержаться лишние страницы (ухудшающие ранжирование сайта, например, дубли)
• Могут быть закрыты для индексации определенные папки (например, картинки /images/)
• И т.д.

Теперь обо всем по-порядку. Для начала, проверяем, есть ли сайт в индексе Яндекса и Гугла, задав поисковикам следующий запрос: site:realyseo.ru (заменив на свой домен):

Если ничего не найдено, то выполняем инструкции, приведенные в этой статье.

Если же сайт индексируется, смотрим на страницы, проиндексированные поисковыми системами (в выдаче поисковиков по запросу, приведенному выше) и убеждаемся, что в индексе нет ничего лишнего (например, страниц меток/тегов, профилей пользователей и т.п.).

Если есть лишние страницы в индексе — запрещаем их индексирование (добавляем мета тег <meta name=»robots» content=»noindex»>).

Если лишних страниц в индексе нет, то переходим к проверке страниц и других материалов сайта, запрещенных к индексации поисковыми системами.

Проверить, какие страницы и материалы запрещены к индексированию, можно несколькими способами — посмотреть содержимое файла robots.txt в корневом каталоге сайта, в ручную просмотреть исходный код страниц на предмет наличия мета тега  noindex… Но я бы рекомендовал воспользоваться специальным софтом или сервисом. Я пользуюсь бесплатной программой Netpeak Spider, в неё достаточно просто вбить адрес сайта и вы получите информацию о страницах, запрещенных к индексации:

Просматриваем страницы, запрещенные к индексации (disallow в robots.txt или noindex в MetaRobots), если есть нужные страницы — разрешаем их индексацию.

Случай из практики — был клиент, которому мы какое-то время продвигали сайт. Затем мы перестали сотрудничать и через какое-то время он обновил сайт (обновил движок Joomla и сменил дизайн), после обновления движка изменился файл robots.txt, в котором появился запрет на индексацию папки /images/ (туда по-умолчанию загружаются все картинки к статьям). Результаты не заставили себя долго ждать — трафик из поиска по картинками упал с ~600 человек в месяц (это коммерческий сайт, продающий строительные материала оптом, то есть, трафик был довольно большим) до нуля:

Клиент вновь обратился к нам весной с просьбой диагностировать причины падения трафика с поисковых систем (не только с поиска по картинкам), в результате проведенной диагностики, в том числе, была выявлена эта проблема. Изменили robots.txt, картинки начали индексироваться Яндексом только в июне (Google начал индексировать практически сразу), теперь начинается  медленный  рост трафика с картиночного поиска (видно в конце графика).

Как видно из примера, важно очень внимательно следить, что разрешено, а что запрещено индексировать на вашем сайте поисковым роботам.

Понравилась статься? Подпишитесь на обновления: