Базовый код файла robots.txt для старта вашего проекта
Базовый файл robots.txt для старта вашего проекта
Обязательно укажите в host адрес своего сайта и сгенерируйте карту сайта
Как сгенерировать карту сайту?
#CODE#
User-Agent: *
Disallow: */index.php
Disallow: /bitrix/
Disallow: ...