Canonical и robots: частые ошибки на форумах
 

Всем привет! Часто вижу в обсуждениях на разных форумах перезрелое недопонимание, когда говорят о тегах canonical и robots.txt. Они вроде бы про одно — ограничение индексации, но работают совсем по-разному и ставить их неправильно — это дорога в SEO-проблемы.

Начнем с основ. Canonical — это тег, который ставят на странице, чтобы поисковик понял, что эта страница — дубликат или очень похожа на другую, и индексировать нужно именно ту ссылку, которая в canonical указана. Robots.txt — это вообще про ограничение доступа для поисковых ботов к части сайта. Это два разных инструмента, и снова встречаю приколы, когда на одном и том же сайте закрывают страницу и через robots, и через canonical, ссылаясь на нее же. Сейчас объясню, почему это часто лишнее или даже вредно.

Типичная ошибка №1: ставят canonical на страницу A, которая закрыта от индексации через robots.txt.

Не всё так просто с canonical и robots.txt. Часто думают, что если страницу закрыть через robots и поставить canonical, то всё станет чётко, но на самом деле поисковик может просто не увидеть canonical, если доступа нет. По сути, они служат разным задачам и иногда их совмещение наоборот сбивает с толку, а не помогает. Лучше всё-таки четко разделять, что и зачем закрывать или указывать.

Точно, если бот не может зайти на страницу из-за robots.txt, он и canonical не увидит, поэтому толку с этого мало. Лучше либо открывать страницу и ставить canonical, либо закрывать через robots без лишних тегов. Главное — не путать инструменты, они решают разные задачи.

Не всё тут однозначно, конечно. Robots может закрыть страницу полностью, и тогда тег canonical просто не увидят, но с другой стороны, иногда закрыть через robots удобнее, чтобы не светить лишний контент. Важно просто понимать, что эти инструменты решают разные задачи, и нельзя слепо их смешивать. Иногда их совместное использование действительно может запутать поисковики, но в других случаях такая схема имеет свой смысл.