Коротко. Прежде чем страница попадёт в поиск, Google должен найти URL, обойти его, обработать и сохранить. Если страницы нет в выдаче, сначала определите, на каком этапе она выпала. «Проиндексировано» при этом не значит «в топе».
Как читать материал. Идите по этапам и проверяйте каждый. Нейросеть помогает разобрать отчёты и текст ошибок, но статус URL подтверждается в Search Console и запросами.
Пять этапов
Путь страницы до выдачи разбивается на пять этапов. Первые четыре относятся к индексации, пятый — к ранжированию.
| Этап | Что происходит | Что может сломаться |
|---|---|---|
| Обнаружение | Google находит URL по ссылкам и sitemap | нет ссылок, URL не в sitemap |
| Обход | Googlebot запрашивает страницу | 5xx, таймауты, закрыт robots.txt |
| Обработка | извлекаются текст, ссылки, разметка | JS без рендеринга, кривой HTML |
| Индекс | страница сохранена | noindex, canonical на другой URL |
| Выдача | страница ранжируется | низкая релевантность, конкуренция |
Почему страница не индексируется
- Нет ссылок. Страница есть, но на неё ничего не ведёт.
- Закрыта в robots.txt. Робот не может её запросить.
- Стоит noindex. Страница доступна, но её просят не индексировать.
- Canonical указывает на другой URL. Google считает главной другую страницу.
- Сервер отдаёт 5xx или 403. Робот не получает содержимое.
- Дубли. Одна и та же страница по нескольким адресам.
- Тонкий контент. Google решает, что странице не место в индексе.
Как проверить
- Откройте Search Console → «Индексирование страниц».
- Посмотрите, в какой группе находится URL.
- Используйте «Проверку URL» для конкретной страницы.
- Сверьтесь с sitemap: есть ли там URL и совпадает ли дата изменения страницы.
- Проверьте код ответа через
curl -I.
Отчёт site: неполный: он показывает не все страницы и не заменяет данные Search Console.
Классический путь. Проверьте статус URL в Search Console и код ответа сервера.
С нейросетью. Отдайте список URL и статусы, попросите сгруппировать причины.
Вот список URL и статусы из Search Console. Раздели на группы:
не обнаружено, обнаружено но не проиндексировано, исключено,
проиндексировано. Для каждой группы предложи проверку. Не утверждай
причину, если её нет в данных.Проверка. Откройте 2–3 URL из каждой группы и подтвердите статус вручную.
Что делать
| Причина | Действие |
|---|---|
| Нет ссылок | добавить внутренние ссылки и запись в sitemap |
| robots.txt | убрать запрет для нужных URL |
| noindex | снять meta или заголовок |
| Canonical | указать правильный главный URL |
| 5xx/403 | починить сервер или доступ |
| Дубли | склеить через canonical и редирект |
| Тонкий контент | дополнить или объединить |
После правки не ждите мгновенного результата. Обход и переобработка занимают время.
Влияет ли индексация на позиции
Индексация — только допуск к выдаче. Позиция зависит от релевантности, конкуренции и качества страницы.
«Страница в индексе, но не в топе» — обычная ситуация. Работать нужно не над фактом индексации, а над соответствием запросу.
Где помогает нейросеть
| Задача | Что делает модель | Что проверять руками |
|---|---|---|
| Разбор отчёта | группирует причины | статусы URL |
| Проверка метатегов | находит noindex и canonical | HTML страницы |
| План правок | предлагает порядок | зависимости |
| Объяснение клиенту | переводит статусы | факты отчёта |
Частые ошибки
- Проверять индексацию через
site:и делать выводы. - Снимать noindex, не проверив, зачем он стоял.
- Отправлять в sitemap страницы с ошибками.
- Менять canonical и редиректы одновременно.
- Ждать результата в тот же день.
- Путать индексацию с ранжированием.
Вопросы
Сколько времени занимает индексация?
Зависит от сайта и URL. Иногда дни, иногда недели. Гарантированного срока нет.
Почему страница «обнаружена, но не проиндексирована»?
Google знает URL, но ещё не обошёл или решил не сохранять. Проверьте качество, дубли и технические ошибки.
Индексация гарантирует трафик?
Нет. Страница может быть в индексе и не показываться по нужным запросам.
Может ли нейросеть ускорить индексацию?
Нет. Она помогает найти причину, но обход и индексацию выполняет Google.
Связанные материалы
Источники
Официальные документы 4
- Google: как работает поискdevelopers.google.com
- Google: отчёт об индексированииsupport.google.com
- Google Search Central: HTTP status codesdevelopers.google.com
- Google: блокировка индексированияdevelopers.google.com