Как можно проверить индексацию сайта в поисковых системах

SEO-продвижение

Регулярная проверка индексирования сайта необходима при продвижении в поисковых системах. Вы должны проверять на наличие в индексе не только целевые URL, но и возможное попадание в поисковую выдачу «мусорных» или служебных страниц.

Способы проверки

Поисковый запрос в Google

Самый быстрый вариант проверить индексацию сайта в индексе яндекса и гугла – это сформировать в поисковой строке запрос вида «site:yoursite.ru». Естественно, после команды site: нужно указывать свой адрес ресурса. Выполнив поиск, Google покажет все страницы, находящиеся в индексе.

Помимо поиска всех страниц, можете точно так же найти все ресурсы раздела. Если же требуется проверка индекса конкретной страницы, то в этом поможет оператор поискового запроса «info:».

Google Search Console

Незаменимый инструмент SEO-оптимизации. Если Вы еще не зарегистрировали свой сайт в панели вебмастера Google, сделайте это как можно скорее.

Чтобы посмотреть статус индексирования зайдите в раздел Индекс Google > Статус индексирования. В этом разделе Вы увидите количество проиндексированных страниц проверяемой площадки. Сравните количество проиндексированных URL с количеством в файле sitemap.xml.

фото 1

Если проиндексировано страниц меньше, чем содержит XML карта сайта, возможно, наблюдается одна из проблем, о которых мы поговорим немного позже. Если же страниц в индексе находится больше, чем в файле sitemap, значит, в индекс попали лишние страницы, которые нужно срочно закрыть от индексации.

Лишние URL:

  • Страницы дубликаты контента (создаются автоматически некоторыми CMS системами).
  • Служебные ресурсы (файлы CMS системы, админ-панель).
  • Файлы. Например, PDF фалы, могут попасть в индекс.

SEO-плагины для браузеров

SEO-плагины – это специальные надстройки для браузеров, которые позволяют узнать основную информацию об открытом сайте, попавшую в выдачу поисковиков Яндекс и Гугл: количество проиндексированных ресурсов и картинок, рейтинг, ошибки в meta-тегах и много другой ценной информации. Один из самых популярных плагинов – RDS bar для Google Chrome или Mozilla.

Netpeak Spider и Netpeak checker

Два профессиональных инструмента для вебмастеров, которые занимаются вопросами SEO. Эти программы платные. Netpeak Spider стоит 117.6$ в год, а Checker 159.6$ в год. Есть подписки на месяц, три или полгода. Несмотря на внушительную стоимость, относительно других инструментов: эти две программы позволяют проводить SEO-анализ по самым глубоким показателям и находить SEO-ошибки.

Netpeak Spider

Как можно понять из названия – это программа паук, которая, пройдя по всему сайту, найдет все страницы, скачает контент так, как его видят поисковые роботы, и выдаст отчет по 112 показателям. Сейчас же нас интересует проверка соответствия инструкции для индексации.

фото 2

Проверяем инструкции для поисковых агентов (пауков).

В программе Netpeak Spider зайдите в меню «Настройки сканирования», и в разделе «индексация» отметьте все пункты. После проведения сканирования программа выдаст отчет по всему сайту.

Куда смотреть в отчете

Запомните теги, которые указывают на разрешение или запрет на индексацию конкретной страницы.

Разрешающие команды:

  • Allow – команда из robots.txt.
  • Index – из тега meta-robots. Разрешает показ в результатах поиска.
  • Follow – из тега meta-robots. Разрешает переходить по ссылкам со страницы.

Запрещающими тегами будут соответственно:

  • Disallow.
  • Noindex.
  • Nofollow.

Проверьте все страницы в отчете на предмет соответствия целям. Нет ли в отчете важных disallow страниц? Нет ли мусорных, наоборот, разрешенных к индексированию?

Canonical URL

Канонический URL – это указание в специальном теге страницы оригинала. Если на вашем ресурсе существуют страницы дубликаты, или частичные дубликаты, нужно указывать канонический URL в специальном теге.

Пример: <link rel=»canonical»href=»http://site.ru/blog/index/google»/>

В этом отчете указываются данные об исходных URL, если они были указаны.

Netpeak Checker

Эта программа покажет: проиндексирован сайт или нет, а также, сколько страниц проиндексировано.

Запустите сканирование и выберите пункт Google SERP: URL.

Значения TRUE / FALSE покажут наличие индексации и склейки с другим доменом или URL. А в следующей колонке Вы увидите количество проиндексированных страниц.

Screaming Frog SEO Spider

Еще один сервис-паук для SEO-анализа сайта. Сразу о приятном. Программа имеет бесплатную ограниченную версию, которая может анализировать сайты до 500 страниц. Если же нужно проанализировать ресурс большего размера, Вы можете купить программу за 149 фунтов в год.

фото 3

Конечно, покупать программу за 150 фунтов для проверки индексации абсолютно не целесообразно. Однако помимо проверки индекса домена и заданных страниц, Screaming Frog проводит полный технический SEO-аудит сайта. Поэтому рекомендуем ознакомиться с программой хотя бы в бесплатной версии.

Старая и надежная программа для аудита архитектуры сайта и поиска нерабочих ссылок. Функционал программы сильно уступает ранее описанным, однако Xenu распространяется бесплатно. Xenu не предназначена для проверки индексации, однако позволит найти базовые ошибки в архитектуре сайта.

Почему может не индексироваться контент

  • Вы запретили доступ к индексации в файле robots.txt.
  • Отсутствует файл sitemap.xml.
  • Существует много дублей, вызванных неправильной работой CMS. Тоже касается битых ссылок и висячих узлов.
  • На сайте присутствует вирус.
  • Низкая скорость загрузки сайта.

Как ускорить индексацию

Прежде чем заняться вопросом ускорения, индексации необходимо устранить SEO-ошибки, т.к. они влияют на доверие поисковой системы к вашему ресурсу. После, можете применить некоторые лайфхаки для ускорения индексации.

Ускорение индексации:

  • Опубликуйте ссылку на ресурс и на каждую страницу в социальной сети Google+ и других социальных сетях.
  • Если Вы выкатываете большое количество страниц, можете обновить файл sitemap.xml в панели вебмастера.
  • Регулярно обновляйте контент на своем ресурсе. Поисковик выработает график посещения и страницы будут быстрее попадать в индекс.

После того как вы научитесь проверять индексацию своего сайта, вы сможете вовремя обнаруживать проблемы со страницами на нем.

Оцените статью
Продвижение интернет-магазинов(ecommerce) и каталогов Продвигаем