Правильный файл robots.txt для WordPress

Файл robots.txt для WordPress должен обязательно присутствовать на вашем блоге. Ведь индексация его роботами поисковиков, а конкретнее ее запрет — вопрос немаловажный и требует детального рассмотрения. Во-первых, что это и для чего нам воспрещать индексацию? Сразу подметим, что запрещать ничего не нужно, вы фактически будете содействовать всяческому продвижению вашего сайта. Во-вторых, как это так выходит?

Все довольно объяснимо: вследствие запрета индексации сайта вы помогаете другим роботам-поисковикам фильтровать «ненужную» информацию на сайте и просматривать исключительно передовой контент. Ваша задача — точно обозначить дорогу к истинно значимым файлам сайта. Это способствует правильному перемещению по сайту поискового робота, расставляя так называемые «дорожные знаки» для него.

Файл robots.txt для WordPress

Один из главных инструментов скорейшей индексации вашего сайта — файл роботс, который выступает в этом случае в роли некого регулировщика по вашему сайту. Он запрещает поисковикам индексировать в одном пространстве и всячески способствует индексации в нужном. Поговорим о нем детальнее.

Для чего нам требуется организовывать этот файл? Чтобы роботы-поисковики не скитались безрезультатно по сайту. Ибо время на индексацию робота-поисковика строго лимитировано. А раз ваш сайт имеет не корректно расставленные приоритеты для индексации, значит, сайт ваш посещаться ими будет в разы реже. А если подобная ситуация станет возобновляться — робот вообще перестанет к вам заглядывать и задвинет ваш сайт подальше в списки поиска.

Минимизация индексирования ненужных файлов проводится строго индивидуально, но раз вы пока новичок и вам непросто постичь процесс его создания — возможно применение шаблона.

Файл robots.txt для WordPress.

На картинке сверху приведен пример обычного файла robots.txt. Прописывается он в обычном блокноте и имеет расширение «.txt», в котором указаны все директивы.

Строка первая User-Agent: * предназначен для обозначения поискового робота: Yandex, Googlebot. А спецсимвол «*» выступает в роли универсального, им допускается замена названий всех поисковых роботов, но рекомендуется назначать для каждого по отдельности. Ибо каждый внушительный поисковик имеет целую группу роботов-помощников со специальным предназначением.

Disallow: /wp-admin/ ограничивает индексацию этой папки, всех файлов и всех ее вложений. Директив Disallow: /*. и формат файла воспрещает к индексированию установленный тип файлов.

Что касается директив:

  • Disallow — блокирование индексирования;
  • Allow — допущение;
  • Sitemap — указание направления к файлам, которые формируют карту сайта в формате xml.
  • Host — направление основного домена.

И наконец, стоит подметить, что файл robots.txt для wordpress это неотъемлемая часть, которую нужно регулярно обновлять и контролировать для получения желанных результатов.

Необходимо прописать в этом файле имя своего домена и путь к карте сайта xml. Затем закидываете его в основную директорию вашего сайта на сервере и проверяете по адресу ваш_сайт/robots.txt.

© mustic.ru

vvedite.

Нравится статья? Поделись с другом.

79 комментарии к “Правильный файл robots.txt для WordPress

  • Sitemap указывать не обязательно, потому что мы его указываем в кабинетах вебмастера в поисковиках.

    Так же содержимое файла роботса зависит от настройки. Например если правильно настроить все с помощью файла функций то сразу же половина кода из роботса можно смело удалить

    Ответить
  • В свое время,эта статья мне очень пригодилась бы.Когда Яндекс писал , что мой сайт закрыт от индексации мета-тегом noindex. Я долго рыскал по интернету в поисках информации и нашел исправил и пошла индексация статей.

    Ответить
    • Вадим

      on

      Игорь, как у Вас индексация статей на данный момент происходит?

      Ответить
      • Нормально все индексируется.

        А что вас так заинтересовало?

        Ответить
        • Вадим

          on

          У Вас сайт для людей или так? Только честно.

          Ответить
        • Вадим

          on

          Игорь, давайте я Вам помогу роботс настроить. Я разобрался. У Вас сайт для людей.

          Ответить
          • У меня есть роботс.

            Или с моим роботсом что то не так?

            Ответить
          • Вадим

            on

            Очень сильно не так с Вашим роботсом.

            Ответить
          • Вадим

            on

            В блоке User-Agent: Yandex

            строка Sitemap указывает на Вашу карту Вашего сайта, строка Host указывает на чужой блог. Её нужно исправить на Ваш сайт vipinternetrabota.ru.

            Ответить
          • Игорь

            on

            Вадим, я просто по не внимательности не заметил и сохранился.

            А теперь все изменил.

            Ответить
          • Вадим, ну в принципе давайте роботс настроем, может что то новое предложите.

            Ответить
          • Вадим

            on

            Вам нужно написать Host: vipinternetrabota.ru

            У Вас Host: ЧУЖОЙ САЙТ.

            Вы наверно скопировали оттуда роботс, в Sitemap исправили на адрес своего сайта, а Host забыли.

            Ответить
          • Вадим

            on

            Игорь, исправили host в роботсе? Это основная ошибка у Вас. Остальное неточности.

            Ответить
          • Вадим

            on

            Посмотрел Ваш роботс Игорь опять. Хост Вы не исправили. Как хотите. Артём говорит что такой сайт плохо индексируется, Вы говорите что хорошо. А может это фишка продвинутая.

            Ответить
          • Игорь

            on

            Индексировался хорошо, после исправления посмотрим как будет проходить индексация.

            Ответить
          • Вадим

            on

            Игорь, Вы исправили. Я посмотрел. Сейчас прописан и сайт и карта и юзер агенты убраны.

            Ответить
          • Игорь

            on

            Ну наконец то и на моей улице праздник.

            Ответить
          • Вадим

            on

            Вы Игорь от каждого блогера брали код роботса и вставляли. Он и разбух до больших размеров.

            Ответить
          • Игорь

            on

            Ошибаетесь батенька,я этот код у одного блогера позаимствовал,только не подправил нормально под себя.

            Он кстати не только под поисковик яндекс настроен был,но еще под парочку.

            Ответить
          • Вадим

            on

            Не знаю Вашего блогера и кто он такой, но четыреста строк в роботсе это явный перебор с гаком.

            Ответить
          • Вадим

            on

            Не понимаю смысла прописания запрета юзер агентов. Поисковики и любой браузер могут их проигнорировать. Есть блогеры которые запрещают юзер агенты, но я смысла в этом не вижу, потому что обойти запрет легко.

            Ответить
          • Игорь

            on

            Да исправил я все исправил.

            Спасибо за подсказку.

            Ответить
          • Вадим

            on

            Игорь, рад был помочь Вам. Я читал много статей о роботсе и до меня туго доходило. На прошлой неделе внезапно тема прояснилась и стала простой. Решил проверить роботсы блогеров и увидел у Вас неточность.

            Ответить
  • Артем, а у вас данный ROBOTS.TXT рабочий?

    У меня другой, попробовать воспользоваться вашим, на другом блоге, может лучше будет.

    Ответить
    • Артем Свечин

      on

      Такой robots.txt советуют разработчики WordPress. А я бы посоветовал в robots.txt закрывать то что не подлежит индексации только от Яндекса, Google все равно все проиндексирует. Вот такой:

      User-agent: Yandex

      Disallow: /wp-admin

      Disallow: /wp-includes

      Disallow: /wp-content/plugins

      Disallow: /wp-content/cache

      Disallow: /wp-content/themes

      Disallow: /feed/

      Disallow: */feed

      Disallow: */trackback

      Disallow: */comments

      Disallow: /*?

      Disallow: /*?*

      Disallow: /tag

      Disallow: /category

      Disallow: /?

      Host: домен.ru

      Sitemap: <a href="http://домен.ru/sitemap.xmlдомен.ru/sitemap.xml>

      И далее добавляйте в список исключений все что не подлежит индексированию.

      Ответить
      • Вот у меня такой ROBOTS.TXT и установлен.

        Значит я так понял он отличный.

        Вот им и буду пользоваться.

        Благодарю за инфу.

        Ответить
      • Вадим

        on

        Что Гугл такой наглый? Ему говорят не индексируй, он индексирует. Как боротся с гуглом? Это возможно?

        Ответить
        • Да меня это тоже поражает. Может есть какой нибудь заокеанский ROBOTS.TXT, который усмирит Гугл.

          Ответить
          • Вадим

            on

            Думаю у Гугла в настройках прописано игнорировать disallow/

            Ответить
          • Вадим

            on

            Роботс может скачать любой пользователь с любого сайта. Место роботса известно.

            Ответить
          • Это не новость, почти на каждом блоге можно скачать.

            А к чему вы это написали?

            Ответить
          • Вадим

            on

            Если роботс можно скачать, то написаное в нём может быть проигнорировано поисковиком.

            Ответить
      • Вадим

        on

        Артём, что может значить запрет индексации странц вида yandex_числовое значение.html или google числовое значение.html. Что за страницы?

        Ответить
        • Артем Свечин

          on

          Это файлы проверки которые предлагают загрузить Яндекс и Google в панели вебмастеров для проверки прав на сайт.

          Ответить
          • Вадим

            on

            Числовое значение для сайта разное для каждого сайта?

            Ответить
          • Артем Свечин

            on

            Яндекс и Google сами генерируют эти файлы и у всех сайтов они разные.

            Ответить
          • Вадим

            on

            Разобрался. Мне на почту приходят два письма на один Ваш ответ. Одно письмо дубль. Это нормально?

            Ответить
          • Артем Свечин

            on

            Ничего не могу сказать.

            Ответить
  • robots.txt один из важных моментов в продвижении блога, действительно чтобы в индексе ПС небыло всякого хлама, тонны комментариев, лучше все закрыть от индексации.

    Ответить
  • Вадим

    on

    С какой целью нужно регулярно обновлять роботс, если структурных изменений на сайте не происходит?

    Ответить
  • Вадим

    on

    Я бы ещё в роботс Артёма добавил индексацию картинок гуглом и яндексом.

    Ответить
    • Ну я не знаю где вы фишек нахватались, но судя по словам вы быстро учитесь.

      Почти не давно ничего не знали, а теперь такие вопросики задаете, да и стараетесь поучить.

      Ответить
  • Вадим

    on

    Артём, если в роботсе Host прописать другого сайта, а в Sitemap этого сайта. Так можно? И что это даст?

    Ответить
    • Артем Свечин

      on

      Ничего хорошего. Поисковики будут плохо индексировать сайт если вообще еще будут индексировать. Вообще нужно очень серьезно подойти к созданию robots.txt.

      Ответить
      • Вадим

        on

        Я подумал что может чёрное или серое сео. Встретился мне такой роботс.

        Ответить
        • Артем Свечин

          on

          Ну и как индексируется этот сайт?

          Ответить
          • Вадим

            on

            Не знаю как он индексируется, сайт не мой. А у Вас точная информация, что плохо индексироваться будет или гипотетическая?

            Ответить
          • Артем Свечин

            on

            Скажем так, я бы не советовал так делать. Но можете попробовать поэкспериментировать, а потом расскажите.

            Ответить
          • Вадим

            on

            Не у меня это. Я бы такой не стал делать. Встретился такой файл. Я удивился, решил Вас спросить.

            Ответить
          • Вадим

            on

            Разобрался. Это я промашку дал. Копирование у себя случайно не то сделал, всё налезло друг на друга. Извиняюсь за беспокойство.

            Ответить
          • Игорь

            on

            Артем Вадим скорей всего про мой блог спрашивает.

            До недавнего времени у меня так было по невнимательности, но индексация была.

            Ответить
          • Вадим

            on

            С правильным роботсом индексация была бы намного лучше.

            Ответить
          • Игорь

            on

            Согласен, вот теперь и посмотрим как будет индексировать

            Ответить
          • Вадим

            on

            Полтора месяца прошло. Как индексироваться сайт стал?

            Ответить
      • Игорь

        on

        Артем у меня так был настроен роботс и все индексировалось.

        Ответить
  • Вадим

    on

    Роботс Игорь когда исправите? Лучше удалите его. Сайт без роботса хорошо работает.

    Ответить
    • Игорь

      on

      Вадим, ну во первых я уже все давно исправил, я вам уже спасибо за подсказку сказал или еще раз сказать.

      А во вторых, вам что заняться не чем, проверяете чужие блоги, займитесь своим и нечего здесь демагогию разводить.

      Создается впечатление, что вы явным образом занимаетесь набиванием количества комментариев.

      Ответить
  • Вадим

    on

    Игорь, скажите тайну, для чего Вы в роботсе запретили заход на сайт сотне юзер-агентов?

    Ответить
    • Игорь

      on

      Я не понимаю о чем вы сейчас пишите.

      И еще раз повторюсь занимайтесь своим блогом.

      Ответить
      • Вадим

        on

        Вы исправили роботс на правильное написание, уже не актуально.

        Ответить
  • Вадим

    on

    У Алексея Иванова роботс из двух строк плюс адрес карты сайта. Такой роботс нормальный же? У меня такой же.

    Ответить
    • Али Администратор

      on

      Вы посмотрите проиндексированные страницы в панелях веб-мастеров Гугл и Яндекс. Если там есть что-то что вы не хотите индексировать внесите в роботс.

      Ответить
      • Вадим

        on

        У меня запрещён wp-admin. Почему запрещают индексировать рlugins и thеmеs? Для безопасности сайта это критично?

        Ответить
        • Али Администратор

          on

          Зачем вам в выдаче рlugins и thеmеs? Это считается мусором в поисковой выдаче.

          Ответить
          • Вадим

            on

            Понял. Спасибо за ответ. Допишу пару строк как в Вашем роботсе.

            Ответить
  • Вадим

    on

    Значит я могу держать нежелательный контент в закрытой роботсом папке и мне ничего не будет.

    Ответить
    • А Гугл,все равно найдет этот контент.

      Потому что он не управляем.

      Ответить
      • Вадим

        on

        По идее это правильная позиция Гугла. Мало ли что Вы скрываете з недозволенного в закрытых папках.

        Ответить
        • Нет,не правильная позиция.Для того и закрывается,что бы инфа не доступная была.

          Ответить
  • Ира

    on

    Здраствуте, подскажите нужно ли закрывать от индексации категории Disallow: /category/*/* или нет?! никак не могу разобраться в этом вопросе...

    Ответить
    • Али

      on

      Лучше закрыть. Потому что это дублирование контента.

      Ответить
      • Ира

        on

        А на вес сайта и продвижение это никак не будет влиять?

        Ответить
  • Добрый день, подскажите мне пожалуйста. Для распределения веса мне надо сделать что бы вес с главной страницы утекал на все страницы сайта (в том числе категории), а находясь на странице 3-го уровня или на странице категорий что бы вес не утекал на морду. Как это можно сделать, и можно ли вообще?

    Ответить
  • Скажите пожалуйста, а сколько вам нужно заплатить, чтобы вы создали для моего сайта правильный роботс файл? не могу в этом разобраться, хоть стреляйся! некоторые люди утверждают, что мой роботс файл катастрофически не правильно составлен.

    Ответить
  • PRO100

    on

    Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?

    Ответить
  • Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?

    Ответить
  • А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.

    Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *