Файл robots.txt – это текстовый документ, содержащий инструкции для сканеров поисковых систем. Он указывает конкретные страницы вашего веб-сайта, к которым им разрешен или запрещен доступ.
Чтобы добавить файл robots.txt на свой сайт:
- Перейдите в «Настройки» (в верхней части конструктора) и выберите «Настройки»;
- Выберите вкладку «Файлы»;
- Отметьте флажок «Включить robots.txt»;
- Вставьте свой скрипт и нажмите «Применить».