asd asdsa f
Разное

Что такое robots.txt?

2

robots.txt — это файл ограничения доступа роботов к содержимому на http-сервере. Другими словами, этот файл указывает, какие файлы индексировать, а какие — нет.
Поисковые работы (crawlers) перед тем, как начать индексацию сайта, проверяют, есть ли в нем файл robots.txt. Найдя этот файл, работы ведут в соответствии с указаниями (директив) в этом файле.
Файл должен находиться в корне сайта. При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них.
Кстати, использование файла robots.txt является добровольным.

Что такое robots.txt?

Попутно замечу, что файл robots.txt может использоваться для указания расположения файла Sitemaps. Например, http://taneevlib.ru/robots.txt.

About the author / 

Adam