RSS

Правильный robots.txt

На сегодняшний день, пожалуй, все знают, что такое robots.txt и для чего он нужен.

Примерно так думает сео-шник, который уже имеет какой-никакой опыт в продвижении сайтов. А вот я например, с этим выражением не соглашусь. Да большинство новичков, которые только начинают свой путь в «веселый мир» поисковых систем понятия не имеют, что это такое robots.txt, и тем более, зачем он вообще нужен!

Но раз вы уже находитесь на этой странице и читаете данную статью, значит, вы заинтересовались данной темой и решили разузнать, что к чему. И это похвально :-) .

Итак, после такого затяжного начала приступим ближе к делу.

Robots.txt – это служебный файл, который располагается в корне вашего сайта и создан он специально для поисковых машин. Внутри него содержатся инструкции, которые указывают поисковым системам, что можно индексировать на вашем сайте, а что нельзя.

На самом деле это очень важно и ненужно этим пренебрегать. Т.к. во-первых, правильно используя данный файл, вы можете избавиться от дублей контента (особенно много лишних улов генерит ВордПресс), во-вторых, это ускорит индексацию вашего сайта, ну и в третьих это позволит вам «не захламлять» поисковые системы, всяким ненужным хламом, который им вообще не нужен и который они так не любят. Т.е. имея у себя за спиной (в корне сайта) данный файл вы автоматически убиваете риски негативного отношения со стороны ПС.

Есть еще очень много различных команд, но чтобы забивать вам голову ненужной информацией, я расскажу о самых основных (нужных).

Ну и, конечно же, все это я буду делать на примере моего любимого очень популярного движка WordPress :grin: .

Составляем правильный robots.txt для WordPress

Вот и подошли мы к самой главной части данного поста – к правильному составлению файла роботс.тэкст.

Вообще составлять данный файл нужно в самом начале создания или продвижения сайта (блога). Понятное дело, что еще более важным фактором является именно правильное составление, так как если вы что-то сделаете не так, то вы можете получить некоторые проблемы со стороны поисковых систем.

Кстати очень популярной ошибкой индексации сайтов является именно неправильно составленный роботс, поэтому нужно отнестись к этому серьезно, чтобы потом не бегать с открытым ртом и обзывать поисковые системы нехорошими словами )

Но что-то я отклонился от главной темы. Итак, какие команды потребуются нам для составления правильного роботса:

User-Agent

Данная директива не должна быть пустой, т.к. в ней указывается имя робота, к которому применяется инструкция.

Allow

Разрешается доступ к определенным директориям сайта (либо ко всему сайту). Данную директиву поддерживают только Яндекс и Google.

Disallow

Обратно пропорционально директиве Allow: запрещает доступ.

!!!Между строками User-Agent, Allow и Disallow не должно быть пустых строк!!!

Host

Имеет место быть только для ПС Яндекс. Указывает на главное зеркало сайта (dvoryashin.com).

Sitemap

Указывает поисковому роботу на место расположение xml карты сайта (если таковая имеется).

Спецсимвол *

Символ, который означает абсолютно любую последовательность символов.

Пример правильного robots.txt для WordPress

Приведу вам пример использования данного файла.

User-agent: YandexBlog
Disallow:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Данный роботс рассчитан не на обычный сайт, а на блог. Т.к. вначале используется директива

User-agent: YandexBlog
Disallow:

Т.е. вы разрешаете боту Яндекс.Блогов абсолютно все (потому что он ходит только по фидам, а в другие директории не полезет).

Robots.txt правильный

Итак, все просто. Создаете у себя на компьютере текстовый файл, обзываете его robots.txt, копируете туда инструкции, описанные выше (или пишите свои), сохраняете и бросаете его в корневую папку.

Comments are closed.

 
Powered by SH CMS (www.shchms.ru)