Регулярная проверка индексирования сайта необходима при продвижении в поисковых системах. Вы должны проверять на наличие в индексе не только целевые URL, но и возможное попадание в поисковую выдачу «мусорных» или служебных страниц.
Способы проверки
Поисковый запрос в Google
Самый быстрый вариант проверить индексацию сайта в индексе яндекса и гугла – это сформировать в поисковой строке запрос вида «site:yoursite.ru». Естественно, после команды site: нужно указывать свой адрес ресурса. Выполнив поиск, Google покажет все страницы, находящиеся в индексе.
Помимо поиска всех страниц, можете точно так же найти все ресурсы раздела. Если же требуется проверка индекса конкретной страницы, то в этом поможет оператор поискового запроса «info:».
Google Search Console
Незаменимый инструмент SEO-оптимизации. Если Вы еще не зарегистрировали свой сайт в панели вебмастера Google, сделайте это как можно скорее.
Чтобы посмотреть статус индексирования зайдите в раздел Индекс Google > Статус индексирования. В этом разделе Вы увидите количество проиндексированных страниц проверяемой площадки. Сравните количество проиндексированных URL с количеством в файле sitemap.xml.
Если проиндексировано страниц меньше, чем содержит XML карта сайта, возможно, наблюдается одна из проблем, о которых мы поговорим немного позже. Если же страниц в индексе находится больше, чем в файле sitemap, значит, в индекс попали лишние страницы, которые нужно срочно закрыть от индексации.
Лишние URL:
- Страницы дубликаты контента (создаются автоматически некоторыми CMS системами).
- Служебные ресурсы (файлы CMS системы, админ-панель).
- Файлы. Например, PDF фалы, могут попасть в индекс.
SEO-плагины для браузеров
SEO-плагины – это специальные надстройки для браузеров, которые позволяют узнать основную информацию об открытом сайте, попавшую в выдачу поисковиков Яндекс и Гугл: количество проиндексированных ресурсов и картинок, рейтинг, ошибки в meta-тегах и много другой ценной информации. Один из самых популярных плагинов – RDS bar для Google Chrome или Mozilla.
Netpeak Spider и Netpeak checker
Два профессиональных инструмента для вебмастеров, которые занимаются вопросами SEO. Эти программы платные. Netpeak Spider стоит 117.6$ в год, а Checker 159.6$ в год. Есть подписки на месяц, три или полгода. Несмотря на внушительную стоимость, относительно других инструментов: эти две программы позволяют проводить SEO-анализ по самым глубоким показателям и находить SEO-ошибки.
Netpeak Spider
Как можно понять из названия – это программа паук, которая, пройдя по всему сайту, найдет все страницы, скачает контент так, как его видят поисковые роботы, и выдаст отчет по 112 показателям. Сейчас же нас интересует проверка соответствия инструкции для индексации.
Проверяем инструкции для поисковых агентов (пауков).
В программе Netpeak Spider зайдите в меню «Настройки сканирования», и в разделе «индексация» отметьте все пункты. После проведения сканирования программа выдаст отчет по всему сайту.
Куда смотреть в отчете
Запомните теги, которые указывают на разрешение или запрет на индексацию конкретной страницы.
Разрешающие команды:
- Allow – команда из robots.txt.
- Index – из тега meta-robots. Разрешает показ в результатах поиска.
- Follow – из тега meta-robots. Разрешает переходить по ссылкам со страницы.
Запрещающими тегами будут соответственно:
- Disallow.
- Noindex.
- Nofollow.
Проверьте все страницы в отчете на предмет соответствия целям. Нет ли в отчете важных disallow страниц? Нет ли мусорных, наоборот, разрешенных к индексированию?
Canonical URL
Канонический URL – это указание в специальном теге страницы оригинала. Если на вашем ресурсе существуют страницы дубликаты, или частичные дубликаты, нужно указывать канонический URL в специальном теге.
Пример: <link rel=»canonical»href=»http://site.ru/blog/index/google»/>
В этом отчете указываются данные об исходных URL, если они были указаны.
Netpeak Checker
Эта программа покажет: проиндексирован сайт или нет, а также, сколько страниц проиндексировано.
Запустите сканирование и выберите пункт Google SERP: URL.
Значения TRUE / FALSE покажут наличие индексации и склейки с другим доменом или URL. А в следующей колонке Вы увидите количество проиндексированных страниц.
Screaming Frog SEO Spider
Еще один сервис-паук для SEO-анализа сайта. Сразу о приятном. Программа имеет бесплатную ограниченную версию, которая может анализировать сайты до 500 страниц. Если же нужно проанализировать ресурс большего размера, Вы можете купить программу за 149 фунтов в год.
Конечно, покупать программу за 150 фунтов для проверки индексации абсолютно не целесообразно. Однако помимо проверки индекса домена и заданных страниц, Screaming Frog проводит полный технический SEO-аудит сайта. Поэтому рекомендуем ознакомиться с программой хотя бы в бесплатной версии.
Xenu Link Sleuth
Старая и надежная программа для аудита архитектуры сайта и поиска нерабочих ссылок. Функционал программы сильно уступает ранее описанным, однако Xenu распространяется бесплатно. Xenu не предназначена для проверки индексации, однако позволит найти базовые ошибки в архитектуре сайта.
Почему может не индексироваться контент
- Вы запретили доступ к индексации в файле robots.txt.
- Отсутствует файл sitemap.xml.
- Существует много дублей, вызванных неправильной работой CMS. Тоже касается битых ссылок и висячих узлов.
- На сайте присутствует вирус.
- Низкая скорость загрузки сайта.
Как ускорить индексацию
Прежде чем заняться вопросом ускорения, индексации необходимо устранить SEO-ошибки, т.к. они влияют на доверие поисковой системы к вашему ресурсу. После, можете применить некоторые лайфхаки для ускорения индексации.
Ускорение индексации:
- Опубликуйте ссылку на ресурс и на каждую страницу в социальной сети Google+ и других социальных сетях.
- Если Вы выкатываете большое количество страниц, можете обновить файл sitemap.xml в панели вебмастера.
- Регулярно обновляйте контент на своем ресурсе. Поисковик выработает график посещения и страницы будут быстрее попадать в индекс.
После того как вы научитесь проверять индексацию своего сайта, вы сможете вовремя обнаруживать проблемы со страницами на нем.