Что такое файл robots.txt? Зачем он нужен на сайте?

Это файл, в котором есть определенная инструкция для ботов от поисковых систем. Там написано, какие страницы индексировать можно или какие надо скрыть из поиска. Возможно, создатель сайт решил сделать сайт закрытым от людей и создал его только для близких. Он полностью запретил индексацию сайта.

Если вы новичок, то советую обратиться к специалисту, ведь этот файл играет важнейшую роль в индексации сайта, а следовательно и на посещаемость. Кому нужен сайт без людей?

Для расширения кругозора, узнайте:

1. В чем заключаются преимущества создания сайта на основе конструктора?
2. В каком конструкторе сайтов сделать простой сайт-базу данных?