Robots.txt — это особый текстовый файл, содержащий инструкцию для поисковых роботов. Это файл размещают в корневой папке сайта. Он влияет на поведение роботов, запрещая или разрешая индексировать определенные части сайта.
Когда поисковик посещает сайт, он первым делом «просматривает» файл robots.txt. В файле содержатся записи такого вида:
User-agent: *
Disallow: /tmp/
Disallow: /cgi-bin/
Звездочка, поставленная после User-agent, разрешает общий доступ к содержимому файла для любых поисковых роботов. Вместо нее может быть указано название конкретного робота. Disallow обозначает запрет действий поисковиков. Запись Disallow: / полностью запрещает индексацию сайта. Индексацию можно запретить и другими способами, например, при помощи атрибута nofollow и тега noindex, однако поисковые системы не одобряют их использование.