Такие важные инструменты, как файлы robots.txt и карты сайтов Sitemap xml помогают обходить запреты на индексирование не основных контентов, в частности, дубли контентов, файлы движков и директории, которые не должны быть досягаемы для роботов поисковых систем.
Правильное прописывание обусловленных роботсных правил для поисковых ботов, не позволяет множеству страниц, не относящихся к значимым содержимым ресурсов, попадать в индекс поисковиков. Это касается возможных многократных дублирований контентов, на которые ведут разные ссылки либо сильно пересекающиеся контенты, что поисковики особенно не любят.
Функционал robots.txt запретит все, если при прописывании всех букв в названии в нижних регистрах пользоваться прописными буквами (без заглавных). С его помощью джумляне смогут влиять на процессы индексаций сайтов Google и Яндексом. Как понятно из названия, функционал выступает в виде обычного текстового файла, который легко создать и редактировать в любых текстовых редакторах, скажем, в Notepad++.
Для того, чтобы поисковые боты не смогли индексами дотянуться до прочего содержимого, роботсы следует сохранять в корневые каталоги, к примеру, воспользовавшись Ftp клиентом Filezilla, и получить доступный адрес, дописав к Урлам главных страниц окончание /robots.txt.
Кстати, такие файлы или папки движка, выделенные под запрет для индексирования, в разных CMS будут называться по-разному.
Подробный синтаксис Роботс описан в хелпе Яндекса.
Подробнее...