Файл robots.txt — важный инструмент для управления индексацией вашего сайта поисковыми системами. В WordPress по умолчанию этот файл генерируется динамически, но часто его функционала недостаточно для решения конкретных задач SEO или защиты сайта.
Что такое файл robots.txt и зачем он нужен в WordPress
Файл robots.txt — это текстовый файл, который размещается в корне сайта и содержит инструкции для поисковых роботов. С помощью него можно указать, какие страницы или разделы сайта следует индексировать, а какие — нет.
В WordPress этот файл часто создается автоматически и содержит базовые правила. Однако, если вам нужно более тонко контролировать индексацию, например, закрыть административную часть сайта, запретить индексацию определенных категорий или страниц с дублированным контентом, стоит создать уникальный файл или расширить существующий.
Как проверить текущий файл robots.txt в WordPress
Чтобы узнать, какой файл robots.txt сейчас используется, достаточно открыть в браузере адрес https://ваш-сайт/robots.txt. Там вы увидите текущие правила для поисковых систем.
Если файл не найден — WordPress создаст его динамически, используя стандартные настройки. Однако динамический файл нельзя отредактировать напрямую, поэтому для уникальных правил нужно создавать физический файл.
Создаем уникальный файл robots.txt вручную
Для создания уникального robots.txt выполните следующие шаги:
- Подключитесь к серверу по FTP или через файловый менеджер хостинга.
- В корневой директории сайта создайте файл с именем
robots.txt. - Добавьте в него необходимые правила, например:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ваш-сайт/sitemap_index.xml
Этот пример запрещает индексацию административной части и указывает на карту сайта.
После создания файл robots.txt будет использоваться поисковиками вместо динамического варианта WordPress.
Как программно создать и управлять файлом robots.txt в WordPress
Если вы хотите создавать или модифицировать robots.txt программно, например, динамически добавлять правила под разные условия, можно использовать хук wpco_filter_robots_txt (префикс wpco_ добавлен для примера и избежания конфликтов).
Пример функции для добавления правил:
add_filter('robots_txt', 'wpco_custom_robots_txt', 10, 2);
function wpco_custom_robots_txt($output, $public) {
if (!$public) {
return $output;
}
$output .= "\nUser-agent: Googlebot\nDisallow: /private-section/";
return $output;
}
Данный код добавляет запрет на индексацию раздела /private-section/ только для Googlebot. Вы можете модифицировать функцию под свои нужды.
Использование плагинов для удобного управления robots.txt
Если не хотите заниматься кодом, есть отличные плагины для управления robots.txt в WordPress:
- Yoast SEO — предлагает встроенный редактор файла robots.txt в разделе «Инструменты».
- All in One SEO — позволяет редактировать robots.txt и .htaccess прямо из админки.
- WP Robots Txt — простой плагин для добавления и редактирования правил без сложностей.
Например, с помощью Yoast SEO вы можете перейти в «SEO» → «Инструменты» → «Редактор файлов» и прямо там создать или изменить robots.txt.
Практические рекомендации по созданию эффективного robots.txt
Чтобы файл robots.txt действительно помог улучшить SEO и защитить сайт, следует соблюдать правила:
- Не блокируйте важные разделы сайта по ошибке — проверьте, что закрываете только лишние страницы.
- Указывайте ссылку на вашу карту сайта (sitemap), чтобы поисковики быстрее находили контент.
- Используйте блокировки для страниц с дублированным содержимым: архивы, параметры URL и т.п.
- Периодически проверяйте файл через инструменты Google Search Console и другие сервисы.
Пример расширенного файла robots.txt для WordPress
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ваш-сайт/sitemap_index.xml
Этот файл закрывает административные и технические разделы, а также часто вызывающие дублирование страницы. Указание карты сайта помогает поисковым системам лучше ориентироваться.
Особенности использования robots.txt при работе с WPGPT и Clearfy Pro
Если на вашем сайте установлен плагин WPGPT, он может генерировать много контента, который стоит контролировать через robots.txt, чтобы не создавать лишних дублей.
Плагин Clearfy Pro предлагает встроенные инструменты оптимизации robots.txt и управления индексацией, что значительно упрощает задачу.
Итоги и советы по созданию уникального robots.txt в WordPress
Создание и настройка уникального файла robots.txt — мощный способ контролировать индексацию сайта и повысить его SEO-эффективность. Используйте либо ручное создание файла, либо программные методы и плагины для гибкости.
Регулярно проверяйте и обновляйте файл в зависимости от изменений структуры сайта и требований поисковых систем.