Почему страницы не попадают в индекс Google: простой чек-лист для проверки
Кто сталкивался с проблемой, когда вроде бы страницу создал, контент добавил — а гугл её будто не замечает? Лежит где-то в мертвом углу, не индексируется, хоть убей. Такая фигня реально выбешивает, особенно если трафик просто не приходит. Давайте без воды — что пробить первым делом, если страница игнорится гуглом?
1. **Проверка robots.txt**
Первое, что нужно сделать — заглянуть в robots.txt. Там может стоять запрет для бота именно на эти URL. Бывает, копипаста с других проектов портит настройки.
2. **Тег noindex**
Откройте код страницы — может, туда случайно влепили `<meta name="robots" content="noindex">`. Бывает и так, что CMS ставит этот тег в шаблоне по умолчанию.
3. **Каноникал**
Посмотрите, какую страницу он указывает в rel=canonical. Гугл может игнорировать страницу в индексе, если считает, что есть дубликат с каноническим URL.
Чекнули уже robots.txt и noindex? Часто именно там затык. Каноникал тоже вылавливал проблемы — Гугл иногда игнорит, если там дубликат. Если все норм — глянь качество текста, слишком короткий или скучный контент гугл пропускает мимо.
Раньше с индексацией было проще — добавил страницу в sitemap, и всё почти сразу появлялось в поиске. Сейчас эти роботы стали капризнее: если хоть где-то запрет или noindex, гугл обходит молча. Каноникал раньше вообще редко чинил мозги, сейчас без внимания поставишь — страница мёртвая. Контент тоже теперь не просто текст, а что-то что гугл реально хочет видеть. Так что чеки — прям обязательная рутина.