Как только робот поисковой системы посещает сайт, в первую очередь он проверяет наличие файла robots.txt корневом каталоге сайта. Если он есть, то бот будет следовать написанным в нем инструкциям. Часто веб-мастера, не зная что это за файл и зачем он нужен, пренебрегают созданием данного файла.
robots.txt — это текстовый файл, в котором содержатся инструкции для ботов поисковых систем. Как уже было сказано выше, данный файл должен находиться исключительно в корневом каталоге сайта. Благодаря правильной настройке данного файла вы можете избежать попадания в индекс поисковых систем лишних, ненужных или служебных страниц сайта.
Как создать robots.txt
Данный файл можно создать в стандартной программе Windows «Блокнот» или в любой программе, позволяет создавать документы с расширением .Txt
В документе нужно прописать все необходимые команды для робота поисковой системы и сохранить документ. После этого вы загружаете его в корневой каталог сайта и упиваетесь. Для одного сайта можно создать только один файл robots.txt. В одном файле вы прописываете инструкции для ботов всех поисковых систем сразу.
В данном файле должно быть минимум две директивы:
- User-agent — данная директива определяет, к какой поисковой системе относятся написанные ниже инструкции.
- Disallow — указывает, какие страницы или директории сайта не нужно индексировать.
Сам файл robots.txt может выглядеть так:
User-agent: — означает, что инструкции относятся ко всем поисковым системам сразу. Вместо звездочки вы можете вписать название нужной поисковой системы. Disallow: / file.html — запрещает к индексации страницу file.html Disallow: / papka / — запрещает индексировать директорию papka и все файлы, которые в ней находятся.
Если вам не нужно запрещать индексацию никаких страниц и директорий, то вы просто ничего не пишете после Disallow.
Если вы не хотите самостоятельно составлять файл robots.txt или ваш сайт сделан на какой-то CMS — вы можете поискать плагин для автоматического создания данного файла, тем самым облегчив себе работу.
Если Вам нравится тогда посетите сервис 101.ru. Только самая лучшая музыка ждет Вас всегда для прослушивания.
Не забудь поделиться с друзьями
Статья была опубликована: 2012-08-31