robots.txt

Создадим и настроим правильный файл robots.txt для любого сайта.