В момент розробки сайту краще закривати сайт від індексації пошуковими системами. Пошуковий робот не зможе проіндексувати тестові посилання і вам не треба буде створювати редиректи або видаляти неіснуючі сторінки.
Як закрити сайт від індексації?
Крок 1. Виконайте вхід в контрольну панель Mirohost
Крок 2. Оберіть необхідний домен
Крок 3. Оберіть «Менеджер файлів» («Керування файлами → Менеджер файлів» в боковому меню)
Крок 4. Створіть файл з розширенням robots.txt
Підтвердіть створення файлу, натиснувши на кнопку "Ок". Якщо такий файл вже існує — відредагуйте його.
Крок 5. Помістіть в нього, наступний код:
User-agent: *
Disallow: /
За допомогою даних рядків коду ви закриваєте сайт від індексації всіма пошуковими системами.
Важливо! Не забудьте прибрати ці рядки коду, після запуску проекту. В іншому випадку ваш сайт не буде індексуватися пошуковими системами.