Индекс— это база данных, результат работы поисковых роботов. В нем хранятся ключевые слова, ссылки, статьи. Индекс регулярно обновляется и дополняется автоматически или вручную.
Если вебмастер желает, чтобы его сайт был быстрее проиндексирован, он может самостоятельно добавить адрес ресурса в специальную форму. Внешние ссылки, расположенные на уже проиндексированных сайтах также ускоряют индексацию сайта.
Если индексация всего отдельных страниц сайта нежелательна, вебмастер может запретить ее, используя файл robots.txt.