CNSearch - Использование META-тегов "Robots"
В отличие от файлов robots.txt, описывающих индексацию сайта в целом, тег управляет индексацией конкретной web-страницы. При этом роботам можно запретить не только индексацию самого документа, но и проход по имеющимся в нем ссылкам.
Инструкции по индексации записываются в поле content. Возможны следующие инструкции:
- NOINDEX - запрещает индексирование документа;
- NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
- INDEX - разрешает индексирование документа;
- FOLLOW - разрешает проход по ссылкам.
- ALL - равносильно INDEX, FOLLOW
- NONE - равносильно NOINDEX, NOFOLLOW
Значение по умолчанию: <meta name="Robots" content="ALL">.
Не стоит перечислять значения через запятую, следующий пример работать не будет:
<META name="ROBOTS" content="noindex, nofollow">
Правильный вариант выглядит вот так:
<META name="ROBOTS" content="none">
В следующем примере робот может индексировать документ, но не должен выделять из него ссылки для поиска дальнейших документов:
<META name="ROBOTS" content="nofollow">
Имя тега, названия и значения полей нечувствительны к регистру. На самом деле индексатор проверяет только три значения: NOINDEX, NOFOLLOW и NONE, так как FOLLOW и INDEX считаются установленными по умолчанию.