Каждый новый юзер читая статьи о том как раскрутить сайт, задаётся проблемой, а как же создать файл robots.txt
для того, чтобы на ваш сайт ходили и просматривали различные роботы google, yandex и т.п.