Настройка файла robots.txt для wordpress
Ошибки в robots.txt на WordPress могут привести к потере до 30% краулингового бюджета из-за индексации технических страниц и дублей. Правильный файл — это не список запретов, а инструмент управления приоритетами поискового робота.
Базовая конфигурация и критические ошибки
Стандартный robots.txt в WordPress часто игнорирует разделы /wp-includes/ и /wp-content/plugins/, что заставляет Googlebot тратить ресурсы на обход JS-библиотек и CSS-файлов. В 2024 году закрывать CSS и JS категорически нельзя: это ведет к ошибкам рендеринга и снижению позиций в Mobile-First Index.
Типичный кейс: закрытие папки /wp-admin/ без учета файла admin-ajax.php. Если плагины используют этот файл для динамического контента, сайт может получить статус «недоступен для индексации» в части функционала. Правильный подход — Disallow: /wp-admin/ и Allow: /wp-admin/admin-ajax.php.
Экспертный вывод: используйте минималистичный набор запретов. Чем меньше строк в файле, тем меньше вероятность случайно закрыть важный раздел при обновлении ядра CMS.
Борьба с дублями страниц и тегами
WordPress генерирует огромное количество технических URL: страницы архивов по датам, теги и страницы авторов. На сайтах с контентом более 500 статей эти разделы создают до 40% «мусорных» страниц в индексе, размывая вес основных категорий.
Сравнение методов: запрет через robots.txt (Disallow: /tag/) работает быстрее, но страница остается в индексе, если на нее есть внешние ссылки. Использование meta noindex в сочетании с robots.txt дает 100% гарантию удаления из выдачи, но требует больше ресурсов сервера на обход. Оптимальный стек для SEO-оптимизация WordPress: закрытие в robots.txt + настройка канонических ссылок.
Экспертный вывод: закрывайте /tag/ и /author/ только если они не приносят трафика. В нишах с сильным брендом авторов (E-E-A-T) эти страницы должны быть открыты и оптимизированы.
Оптимизация под разные поисковые системы
Игнорирование различий между Googlebot и YandexBot — частая ошибка. Яндекс более чувствителен к директиве Clean-param, которая позволяет отсечь мусорные параметры фильтрации и сортировки, не блокируя страницу целиком.
Пример: для интернет-магазина на WooCommerce параметр ?orderby=price создает сотни дублей. Вместо жесткого Disallow, который может заблокировать страницу товара, используйте Clean-param price. Это сокращает количество просканированных URL на 15-20% без риска выпадения страниц из индекса.
Экспертный вывод: создавайте разные инструкции для разных ботов через User-agent. Это позволяет гибко управлять индексацией в зависимости от алгоритмов конкретного поисковика.
Инструменты реализации и проверка
Редактирование файла через FTP дает полный контроль, но использование плагинов (например, Yoast или Rank Math) позволяет менять директивы за 10 секунд без риска затереть права доступа к файлу на сервере. Однако плагины часто добавляют лишние строки, которые замедляют чтение файла.
Критический этап — проверка через Google Search Console (инструмент проверки robots.txt). Ошибка в одном символе (например, лишний пробел перед Disallow) может привести к полной деиндексации сайта в течение 24-48 часов. В моей практике был случай, когда из-за опечатки в одной строке трафик упал на 60% за выходные.
Экспертный вывод: после любого изменения в robots.txt обязателен тест через валидатор. Не полагайтесь на «автоматику» плагинов без ручного аудита.
Вывод
Идеальный robots.txt для WordPress в 2024 году должен быть максимально коротким: открытые CSS/JS, закрытый /wp-admin/ (с исключением admin-ajax.php) и точечное ограничение технических страниц (теги, архивы), если они не несут ценности. Начинайте с анализа индекса в Search Console: если количество «просканировано, но не индексировано» превышает 30% от общего объема страниц, значит, пора ужесточать фильтры в robots.txt. Избегайте тотального закрытия папок /wp-content/, так как это убивает визуальный рендеринг для поисковика.
