Файл robots.txt — важный инструмент для управления индексацией вашего сайта поисковыми системами. Однако в WordPress по умолчанию файл robots.txt генерируется динамически и не существует как физический файл на сервере. Иногда возникает необходимость удалить или переопределить этот файл, чтобы полностью контролировать правила для поисковых роботов.
Почему важно уметь удалять или менять robots.txt в WordPress
По умолчанию WordPress создает виртуальный robots.txt через функцию wptour_generate_robots_txt, которая выводит базовые правила, например, запрет на индексацию админки и кэшированных страниц. Но что делать, если вы хотите полностью убрать этот файл, например, чтобы поисковики не видели никаких ограничений? Или, наоборот, сделать более детальный и точный файл robots.txt, который влияет на SEO и безопасность вашего сайта?
Удаление или переопределение robots.txt полезно в случаях:
- Вы используете сторонние сервисы SEO и хотите полностью контролировать файл.
- Вам нужно временно запретить индексацию всего сайта для тестирования или разработки.
- Вы хотите добавить кастомные правила, которые нельзя задать через стандартный функционал WordPress.
Как WordPress создает robots.txt: разбор механизма
В WordPress функция do_robots() отвечает за вывод robots.txt. Если на сервере нет физического robots.txt в корне сайта, WordPress перехватывает запрос и выводит динамический файл с помощью фильтра robots_txt.
Это значит, что если создать в корне сайта настоящий файл robots.txt, WordPress его не будет показывать, а будет отдавать именно физический файл. Если физического файла нет, тогда сработает динамический.
Удаляем виртуальный robots.txt с помощью фильтра
Чтобы полностью удалить виртуальный robots.txt, можно использовать фильтр WordPress robots_txt и вернуть пустую строку. Добавьте этот код в файл functions.php вашей темы или в плагин:
add_filter('robots_txt', 'wptour_remove_robots_txt', 10, 2);
function wptour_remove_robots_txt($output, $public) {
// Возвращаем пустую строку — robots.txt не будет содержать ни одной директивы
return "";
}
После этого при запросе /robots.txt поисковики получат пустой файл, что эквивалентно отсутствию ограничений по индексации.
Создаем кастомный robots.txt через фильтр
Если нужна более продвинутая настройка, можно полностью переопределить содержимое файла. Например, запретить индексацию определенных папок и разрешить индексацию медиа:
add_filter('robots_txt', 'wptour_custom_robots_txt', 10, 2);
function wptour_custom_robots_txt($output, $public) {
$lines = [];
$lines[] = "User-agent: *";
$lines[] = "Disallow: /wp-admin/";
$lines[] = "Disallow: /wp-includes/";
$lines[] = "Disallow: /temp/";
$lines[] = "Allow: /wp-content/uploads/";
$lines[] = "Sitemap: " . site_url('/sitemap.xml');
return implode("\n", $lines);
}
Этот код создаст удобный и понятный robots.txt без необходимости создавать файл вручную.
Физическое удаление robots.txt на сервере
Если у вас есть физический файл robots.txt в корне сайта (например, через FTP или панель хостинга), его можно просто удалить или переименовать. После этого WordPress начнет отдавать виртуальный файл или пустой, если вы применили фильтр.
Рекомендации по работе с robots.txt для WordPress
Для большинства сайтов достаточно стандартного файла, который WordPress генерирует динамически. Но если у вас есть особые требования, всегда лучше создать физический robots.txt с необходимыми правилами или использовать фильтр robots_txt для динамического управления.
Для удобства можно использовать плагины, например, Clearfy Pro, который позволяет редактировать robots.txt прямо из админки и оптимизировать SEO.
Пример создания физического robots.txt
Создайте файл robots.txt в корне сайта с таким содержимым:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap.xml
Замените example.com на ваш домен.
Советы по безопасной настройке robots.txt
- Не запрещайте индексацию CSS и JS — это может повредить отображению сайта в поиске.
- Отключайте индексацию админки и личных страниц.
- Добавляйте ссылку на карту сайта для удобства поисковых роботов.
