Robots.txt ? это файл, по сути, являющийся инструкцией для поисковых роботов. Файл вводится в корневую папку сайта и регулирует поведение поисковых машин, в основном, скрывая какую-либо страницу или её часть от индексации.
Вы долистали до подвала, вы терпеливый товарищ,
давайте мы ответим на ваши вопросы по телефону
