Если у сайта на WordPress есть проблемы с индексацией, robots.txt часто начинают править первым. И здесь легко ошибиться: одним лишним правилом можно закрыть от поисковиков важные страницы, а слишком «разрешающий» файл оставит открытыми служебные разделы, которые не нужны в выдаче. Для WordPress обычно нужен не длинный список запретов, а аккуратный минимальный файл, который не мешает поисковым роботам обходить полезный контент.
Ниже — практический вариант настройки: что действительно стоит писать в robots.txt, какие директивы обычно нужны WordPress-сайту и чего лучше не делать без понимания последствий.
Что должен делать robots.txt на WordPress-сайте
robots.txt — это не инструмент «закрыть сайт от индексации». Он лишь подсказывает роботам, какие разделы не стоит обходить. Если страница уже известна поисковику по ссылкам или карте сайта, запрет в robots.txt не гарантирует её исчезновение из выдачи. Для удаления из индекса используются другие механизмы, а robots.txt нужен в первую очередь для управления обходом.
Для WordPress это означает простую задачу: не мешать индексации полезных страниц и при этом не тратить краулинговый бюджет на служебные URL, которые не несут ценности для поиска. Обычно речь идёт о внутренних системных путях, а не о контентных разделах сайта.
Базовый robots.txt для WordPress
Если сайт обычный, без нестандартной структуры и без особых требований хостинга, стартовать можно с такого файла:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlЗдесь есть только то, что действительно полезно в большинстве случаев:
User-agent: *— правило для всех роботов;Disallow: /wp-admin/— закрывает административный раздел;Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам;Sitemap— указывает карту сайта, чтобы робот быстрее нашёл важные URL.
Этот вариант не пытается «улучшить SEO» магическими запретами. Он просто не мешает WordPress работать и не закрывает публичный контент.
Какие директивы обычно не нужны
Самая частая ошибка — копировать из чужого примера длинный список Disallow для WordPress, не понимая, что именно он делает. На практике многие такие правила либо бесполезны, либо вредны.
Не закрывайте то, что должно индексироваться
Не стоит по умолчанию запрещать:
/wp-content/целиком — там лежат не только служебные файлы, но и изображения, стили, скрипты, а иногда и важные публичные материалы;/wp-includes/— это техническая часть WordPress, но запрет на неё обычно не даёт ощутимой пользы и может мешать роботам корректно видеть ресурсы страницы;- категории, метки, архивы, если они реально нужны в поиске и дают трафик.
Запреты на уровне целых директорий часто выглядят «чисто», но на деле ломают доступ к ресурсам, которые помогают поисковику понять страницу. Если вы не уверены, что именно закрываете, лучше не добавлять правило вообще.
Не пытайтесь через robots.txt скрыть дубли и мусорные страницы
Если у сайта есть страницы с параметрами, внутренние поисковые результаты, архивы по датам или другие нежелательные URL, robots.txt не всегда лучший способ борьбы с ними. Иногда правильнее настроить канонические URL, убрать генерацию лишних страниц в теме или плагине, либо закрывать такие разделы другим способом, если они уже попали в индекс. robots.txt полезен для обхода, но не заменяет нормальную архитектуру сайта.
Что можно закрыть на WordPress без риска для контента
Есть несколько типов URL, которые обычно не нужны в поиске и могут быть закрыты, если они действительно существуют на вашем сайте.
/wp-admin/— административная часть;- временные или технические каталоги, если они созданы плагином и не должны быть доступны роботам;
- внутренние страницы поиска по сайту, если они генерируют много мусорных URL и не несут ценности;
- служебные разделы, которые созданы конкретным плагином и не предназначены для индексации.
Но каждое такое правило нужно проверять отдельно. В WordPress нет универсального списка «правильных» запретов для всех сайтов. Один и тот же путь на разных проектах может быть либо техническим мусором, либо важной частью публичной структуры.
Как редактировать robots.txt в WordPress
Есть два рабочих сценария: файл уже существует на сервере или WordPress отдаёт виртуальный robots.txt. В обоих случаях задача одна — внести изменения и проверить, что сайт отвечает именно тем содержимым, которое вы ожидаете.
Если файл лежит в корне сайта
На большинстве хостингов robots.txt размещают в корневой директории сайта, рядом с wp-config.php. Тогда его можно редактировать через файловый менеджер хостинга, FTP или SSH-доступ, если он есть. После сохранения файл должен открываться по адресу https://example.com/robots.txt.
Если у вас уже есть физический файл, WordPress обычно не подменяет его содержимое. Это удобный вариант: вы контролируете текст напрямую и не зависите от настроек плагинов.
Если WordPress отдаёт виртуальный robots.txt
Когда физического файла нет, WordPress может сформировать robots.txt динамически. Это удобно для базовой настройки, но не всегда подходит, если нужно точечно управлять правилами. В таком случае лучше создать собственный файл в корне сайта и задать в нём нужные директивы вручную.
После создания файла проверьте, что сервер отдаёт именно его, а не старую версию из кэша или ответ от плагина безопасности. Иногда проблема не в самом robots.txt, а в том, что CDN или кэширующий слой показывает устаревшее содержимое.
Как проверить, что robots.txt настроен правильно
Проверка нужна обязательно, потому что ошибка в robots.txt не всегда заметна сразу. Самый простой способ — открыть файл в браузере и убедиться, что он доступен по адресу /robots.txt без редиректов на ошибочную страницу и без лишнего HTML-кода.
Дальше проверьте три вещи:
- файл содержит только те правила, которые вы действительно добавляли;
/wp-admin/закрыт, аadmin-ajax.phpне заблокирован;- в файле указан актуальный адрес карты сайта, если она у вас есть.
Если вы используете Google Search Console или другой инструмент для диагностики, там можно проверить, как робот видит файл и не блокируются ли нужные URL. Это особенно полезно после переноса сайта, смены домена или установки нового SEO-плагина.
Типичные ошибки, из-за которых ломают индексацию
На WordPress чаще всего встречаются три проблемы.
Первая — закрывают слишком много. Например, добавляют запрет на весь /wp-content/ или на разделы, которые должны индексироваться. В результате поисковик хуже видит ресурсы страницы или перестаёт обходить полезные URL.
Вторая — пытаются использовать robots.txt как универсальный фильтр от дублей и мусора. Это не его задача. Если страница уже в индексе, одного запрета часто недостаточно.
Третья — копируют чужой файл целиком. У WordPress-сайтов разная структура, и правила, которые подходят одному проекту, могут навредить другому. Особенно это заметно на сайтах с нестандартными плагинами, мультиязычностью или сложной темой.
Практический минимум, с которого стоит начать
Если вам нужен рабочий robots.txt без лишней теории, начните с минимального набора: закройте административный раздел, оставьте доступ к admin-ajax.php и укажите карту сайта. Этого достаточно для большинства WordPress-сайтов. Дальше добавляйте только те запреты, которые подтверждены структурой вашего проекта и реальной необходимостью.
Хороший robots.txt не выглядит «богато». Он короткий, понятный и не мешает поисковым роботам делать свою работу. Если после правки вы можете открыть файл в браузере, увидеть нужные директивы и убедиться, что важные страницы не закрыты, значит настройка сделана правильно.