Настраиваем Robots.txt и избавляемся от дублей

Первым делом настроим Robots.txt. Это такой файл, который лежит в корне вашего сайта с названием robots.txt. Если у вас его нет, вы должны его создать. Его поисковики первым делом читают, В нём роботу говорится о том, какие страницы нужно посещать, а какие нет, с какой периодичностью и многое другое. Подробнее об этом файле вы можете прочитать на сайте Яндекса. Мы же пропишем сначала самое основное