Несложное решение для реализации robots.txt на мультидоменных сайтах — обычно в таких файлах трудность составляет только указание пути к sitemap.xml, т.к. зависит от домена, а все остальное одинаковое.
Код естественно будет написан на PHP, и иметь примерно вот такую структуру
<?php header("Content-type: text/plain;"); echo"User-agent: * Disallow: /api/ Disallow: /cart/ ... любые другие директивы .... "; echo 'Sitemap: http://'.$_SERVER['HTTP_HOST'].'/sitemap.xml //Или любой другой правильный адрес к sitemap.xml '; echo 'Host: '.$_SERVER['HTTP_HOST']; // Эту строчку для гугла можно убрать
Сохраняем данный файл как robots.php и проверяем перейдя по его адресу.
Если все ОК, нету никаких ошибок и корректно, то надо настроить чтоб данный контент выводился вместо текущего robots.txt
Для этого удаляем текущий robots.txt, открываем .htaccess и пишем в любом месте после RewriteEngine On
RewriteRule ^robots.txt?$ robots.php [L,QSA]
Если же необходимо более сложные варианты — то необходимо будет делать логические блоки через
$_SERVER['HTTP_HOST']
Например
<?php header("Content-type: text/plain;"); if($_SERVER['HTTP_HOST'] == 'domain1.com') { // то выведем один контент } if($_SERVER['HTTP_HOST'] == 'domain2.com') { // то выведем другой контент }
Вот и всё, спасибо за внимание
Спасибо за подробности, пол часа делала как на другом сайте и никак не работало. Этот скрипт работает.
Я уверена у вас есть и sitemap.php скрипт — очень нужен, пришлите, пожалуйста