Несложное решение для реализации robots.txt на мультидоменных сайтах — обычно в таких файлах трудность составляет только указание пути к sitemap.xml, т.к. зависит от домена, а все остальное одинаковое. 

Код естественно будет написан на PHP,  и иметь примерно вот такую структуру 

<?php
header("Content-type: text/plain;");
echo"User-agent: *
Disallow: /api/
Disallow: /cart/
... любые другие директивы ....

";
echo 'Sitemap: http://'.$_SERVER['HTTP_HOST'].'/sitemap.xml   //Или любой другой правильный адрес к sitemap.xml
';
echo 'Host: '.$_SERVER['HTTP_HOST']; // Эту строчку для гугла можно убрать

Сохраняем данный файл как robots.php и проверяем перейдя по его адресу.

Если все ОК, нету никаких ошибок и корректно, то надо настроить чтоб данный контент выводился вместо текущего robots.txt

Для этого удаляем текущий robots.txt, открываем .htaccess и пишем в любом месте после RewriteEngine On

RewriteRule ^robots.txt?$ robots.php  [L,QSA]

Если же необходимо более сложные варианты — то необходимо будет делать логические блоки через

$_SERVER['HTTP_HOST']

Например

<?php
header("Content-type: text/plain;");

if($_SERVER['HTTP_HOST'] == 'domain1.com') {

    // то выведем один контент

}

if($_SERVER['HTTP_HOST'] == 'domain2.com') {

    // то выведем другой  контент

}

Вот и всё, спасибо за внимание