Как правильно составить файл robots.txt

Привет друзья, покажу Вам как правильно настраивается, составляется файл robots.txt А так же поймете и запомните почему и каким образом этот маленький казалось бы файл влияет на индексирование сайта поисковыми системами! Составление по всем правилам этого файла — плюс к хорошей индексации вашего сайта / блога. И так давайте приступим и начнем изучение

Рекомендую подписаться на обновление блога чтобы не пропускать выходы нового материала на сайте

Что такое файл robots.txt и для чего он нужен

Вот представьте, когда Вы пишите на бумаге ручкой и используете русские слова. Эти слова составляют предложения и так далее — есть готовый текст. Что Вы используете для правильного написания слов? Не догадались еще? Правила грамотного написания, все мы в школе это проходили. Учили — учили эти самые правила, а затем эти все правила сформировались в привычку, и пишем на автомате грамотно! К чему это все здесь про русский язык?

Поисковые машины ( Яндекс, Google для примера ) использует похожую схему работы. Для понимания поисковой машине что нужно индексировать на сайте, а что нет. И существует этот заветный robots.txt В этом файле и находятся те самые правила, которые указывают Поисковикам — вот это просмотреть, а на это не следует обращать внимания.

Поясню, зачем собственно поисковые машины приходят на сайт, просматривают файл robots.txt и начинают сканировать весь сайт. А все дело друзья в индексации страниц, постов, называйте как хотите. А чем больше проиндексированных страниц на сайте, тем больше их в поисковой выдаче. А раз так, то и посетителей придет больше из поисковых систем на ваш сайт.

Отнеситесь к составление robots.txt со всей своей ответственностью. И поисковые роботы на Ваш сайт будут приходить с улыбкой =)

Составляем правильный robots.txt для wordpress

— Создаете у себя на компьютере в «Блокноте» новый файл, даете ему имя robots.txt и вставляете код, который представлен ниже, сохраняете файл. Готовый файл копируете / перемещаете на сервер, где находится ваш сайт. Вот здесь я писал о хостинге, он же сервер. Файл должен располагаться в корне вашего сайта например : vpluce.ru/robots.txt , у кого-то может быть иное расположение, такое как vpluce.ru/public_html/robots.txt

Если хотите проверить расположение этого файла, возьмите прям в адресной строке вашего браузера наберите https://vpluce.ru/robots.txt — посмотрите тот же код что и ниже

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: vpluce.ru
Sitemap: https://vpluce.ru/sitemap.xml.gz
Sitemap: https://vpluce.ru/sitemap.xml

Здесь поясню поподробней, чтобы Вы могли читать эти правила для поисковых систем

User-agent: * — директива распространения правил. Звездочкой ( * ) обозначено на все поисковые машины.

User-agent: Yandex — правила для поисковика Яндекс
Disallow: /moi-katalog — директива, которая запрещает индексацию этого самого каталога «moi-katalog».

Таким способом, если у Вас есть каталоги, которые Вы бы не хотите, чтобы индексировались, то добавляете еще одну директиву Disallow: /nazvanie_kataloga

Host: vpluce.ru — здесь прописываете адрес вашего сайта. Очень важно понимать, что есть огромное различие в www.vpluce.ru и vpluce.ru Чтобы не ошибиться в правильности написания, зайдите в настройки WordPress через админ. панель движка и посмотрите в кладке Параметры — Общие . Посмотрите как выглядит у меня в настройках блога:

Sitemap: https://vpluce.ru/sitemap.xml.gz — сжатая карта сайта
Sitemap: https://vpluce.ru/sitemap.xml — карта сайта

Поставьте себе обязательно плагин Google XML Sitemaps который Вам и создаст Карту сайту вашего блога. Как установить плагин и что такое карта сайта ( ссылка на пост!!!) — помогут эти статьи

Подытожим, что мы сделали : создали файл robots.txt , который информирует поисковые системы о правилах индексации вашего блога, плюс в плане индексации самих страниц, которые есть на блоге это будет полезно!