Правильный файл robots.txt для WordPress
Файл robots.txt для WordPress должен обязательно присутствовать на вашем блоге. Ведь индексация его роботами поисковиков, а конкретнее ее запрет — вопрос немаловажный и требует детального рассмотрения. Во-первых, что это и для чего нам воспрещать индексацию? Сразу подметим, что запрещать ничего не нужно, вы фактически будете содействовать всяческому продвижению вашего сайта. Во-вторых, как это так выходит?
Все довольно объяснимо: вследствие запрета индексации сайта вы помогаете другим роботам-поисковикам фильтровать «ненужную» информацию на сайте и просматривать исключительно передовой контент. Ваша задача — точно обозначить дорогу к истинно значимым файлам сайта. Это способствует правильному перемещению по сайту поискового робота, расставляя так называемые «дорожные знаки» для него.
Файл robots.txt для WordPress
Один из главных инструментов скорейшей индексации вашего сайта — файл роботс, который выступает в этом случае в роли некого регулировщика по вашему сайту. Он запрещает поисковикам индексировать в одном пространстве и всячески способствует индексации в нужном. Поговорим о нем детальнее.
Для чего нам требуется организовывать этот файл? Чтобы роботы-поисковики не скитались безрезультатно по сайту. Ибо время на индексацию робота-поисковика строго лимитировано. А раз ваш сайт имеет не корректно расставленные приоритеты для индексации, значит, сайт ваш посещаться ими будет в разы реже. А если подобная ситуация станет возобновляться — робот вообще перестанет к вам заглядывать и задвинет ваш сайт подальше в списки поиска.
Минимизация индексирования ненужных файлов проводится строго индивидуально, но раз вы пока новичок и вам непросто постичь процесс его создания — возможно применение шаблона.
На картинке сверху приведен пример обычного файла robots.txt. Прописывается он в обычном блокноте и имеет расширение «.txt», в котором указаны все директивы.
Строка первая User-Agent: * предназначен для обозначения поискового робота: Yandex, Googlebot. А спецсимвол «*» выступает в роли универсального, им допускается замена названий всех поисковых роботов, но рекомендуется назначать для каждого по отдельности. Ибо каждый внушительный поисковик имеет целую группу роботов-помощников со специальным предназначением.
Disallow: /wp-admin/ ограничивает индексацию этой папки, всех файлов и всех ее вложений. Директив Disallow: /*. и формат файла воспрещает к индексированию установленный тип файлов.
Что касается директив:
- Disallow — блокирование индексирования;
- Allow — допущение;
- Sitemap — указание направления к файлам, которые формируют карту сайта в формате xml.
- Host — направление основного домена.
И наконец, стоит подметить, что файл robots.txt для wordpress это неотъемлемая часть, которую нужно регулярно обновлять и контролировать для получения желанных результатов.
Необходимо прописать в этом файле имя своего домена и путь к карте сайта xml. Затем закидываете его в основную директорию вашего сайта на сервере и проверяете по адресу ваш_сайт/robots.txt.
Александр
on26 января 2015 в 22:35 говорит:
Sitemap указывать не обязательно, потому что мы его указываем в кабинетах вебмастера в поисковиках.
Так же содержимое файла роботса зависит от настройки. Например если правильно настроить все с помощью файла функций то сразу же половина кода из роботса можно смело удалить
Игорь
on9 февраля 2015 в 23:02 говорит:
В свое время,эта статья мне очень пригодилась бы.Когда Яндекс писал , что мой сайт закрыт от индексации мета-тегом noindex. Я долго рыскал по интернету в поисках информации и нашел исправил и пошла индексация статей.
Вадим
on24 апреля 2015 в 19:34 говорит:
Игорь, как у Вас индексация статей на данный момент происходит?
Игорь
on24 апреля 2015 в 21:04 говорит:
Нормально все индексируется.
А что вас так заинтересовало?
Вадим
on24 апреля 2015 в 21:41 говорит:
У Вас сайт для людей или так? Только честно.
Игорь
on25 апреля 2015 в 14:08 говорит:
С начало для себя открыл, а потом для людей стал.
Вадим
on25 апреля 2015 в 09:44 говорит:
Игорь, давайте я Вам помогу роботс настроить. Я разобрался. У Вас сайт для людей.
Игорь
on25 апреля 2015 в 14:09 говорит:
У меня есть роботс.
Или с моим роботсом что то не так?
Вадим
on25 апреля 2015 в 14:27 говорит:
Очень сильно не так с Вашим роботсом.
Вадим
on25 апреля 2015 в 14:31 говорит:
В блоке User-Agent: Yandex
строка Sitemap указывает на Вашу карту Вашего сайта, строка Host указывает на чужой блог. Её нужно исправить на Ваш сайт vipinternetrabota.ru.
Игорь
on1 мая 2015 в 14:22 говорит:
Вадим, я просто по не внимательности не заметил и сохранился.
А теперь все изменил.
Игорь
on25 апреля 2015 в 14:30 говорит:
Вадим, ну в принципе давайте роботс настроем, может что то новое предложите.
Вадим
on25 апреля 2015 в 14:36 говорит:
Вам нужно написать Host: vipinternetrabota.ru
У Вас Host: ЧУЖОЙ САЙТ.
Вы наверно скопировали оттуда роботс, в Sitemap исправили на адрес своего сайта, а Host забыли.
Вадим
on25 апреля 2015 в 16:37 говорит:
Игорь, исправили host в роботсе? Это основная ошибка у Вас. Остальное неточности.
Вадим
on25 апреля 2015 в 23:37 говорит:
Посмотрел Ваш роботс Игорь опять. Хост Вы не исправили. Как хотите. Артём говорит что такой сайт плохо индексируется, Вы говорите что хорошо. А может это фишка продвинутая.
Игорь
on1 мая 2015 в 14:25 говорит:
Индексировался хорошо, после исправления посмотрим как будет проходить индексация.
Вадим
on2 мая 2015 в 19:05 говорит:
Игорь, Вы исправили. Я посмотрел. Сейчас прописан и сайт и карта и юзер агенты убраны.
Игорь
on2 мая 2015 в 21:30 говорит:
Ну наконец то и на моей улице праздник.
Вадим
on2 мая 2015 в 21:55 говорит:
Вы Игорь от каждого блогера брали код роботса и вставляли. Он и разбух до больших размеров.
Игорь
on9 мая 2015 в 15:34 говорит:
Ошибаетесь батенька,я этот код у одного блогера позаимствовал,только не подправил нормально под себя.
Он кстати не только под поисковик яндекс настроен был,но еще под парочку.
Вадим
on9 мая 2015 в 19:21 говорит:
Не знаю Вашего блогера и кто он такой, но четыреста строк в роботсе это явный перебор с гаком.
Вадим
on9 мая 2015 в 19:23 говорит:
Не понимаю смысла прописания запрета юзер агентов. Поисковики и любой браузер могут их проигнорировать. Есть блогеры которые запрещают юзер агенты, но я смысла в этом не вижу, потому что обойти запрет легко.
Игорь
on1 мая 2015 в 14:23 говорит:
Да исправил я все исправил.
Спасибо за подсказку.
Вадим
on2 мая 2015 в 19:09 говорит:
Игорь, рад был помочь Вам. Я читал много статей о роботсе и до меня туго доходило. На прошлой неделе внезапно тема прояснилась и стала простой. Решил проверить роботсы блогеров и увидел у Вас неточность.
Игорь
on29 марта 2015 в 11:35 говорит:
Артем, а у вас данный ROBOTS.TXT рабочий?
У меня другой, попробовать воспользоваться вашим, на другом блоге, может лучше будет.
Артем Свечин
on29 марта 2015 в 14:00 говорит:
Такой robots.txt советуют разработчики WordPress. А я бы посоветовал в robots.txt закрывать то что не подлежит индексации только от Яндекса, Google все равно все проиндексирует. Вот такой:
домен.ru/sitemap.xml>
И далее добавляйте в список исключений все что не подлежит индексированию.
Игорь
on29 марта 2015 в 14:09 говорит:
Вот у меня такой ROBOTS.TXT и установлен.
Значит я так понял он отличный.
Вот им и буду пользоваться.
Благодарю за инфу.
Вадим
on12 апреля 2015 в 11:07 говорит:
Что Гугл такой наглый? Ему говорят не индексируй, он индексирует. Как боротся с гуглом? Это возможно?
Игорь
on18 апреля 2015 в 19:22 говорит:
Да меня это тоже поражает. Может есть какой нибудь заокеанский ROBOTS.TXT, который усмирит Гугл.
Вадим
on20 апреля 2015 в 21:49 говорит:
Думаю у Гугла в настройках прописано игнорировать disallow/
Вадим
on20 апреля 2015 в 21:49 говорит:
Роботс может скачать любой пользователь с любого сайта. Место роботса известно.
Игорь
on21 апреля 2015 в 20:21 говорит:
Это не новость, почти на каждом блоге можно скачать.
А к чему вы это написали?
Вадим
on2 мая 2015 в 19:11 говорит:
Если роботс можно скачать, то написаное в нём может быть проигнорировано поисковиком.
Вадим
on24 апреля 2015 в 19:37 говорит:
Артём, что может значить запрет индексации странц вида yandex_числовое значение.html или google числовое значение.html. Что за страницы?
Артем Свечин
on24 апреля 2015 в 19:43 говорит:
Это файлы проверки которые предлагают загрузить Яндекс и Google в панели вебмастеров для проверки прав на сайт.
Вадим
on24 апреля 2015 в 19:52 говорит:
Числовое значение для сайта разное для каждого сайта?
Артем Свечин
on24 апреля 2015 в 19:56 говорит:
Яндекс и Google сами генерируют эти файлы и у всех сайтов они разные.
Вадим
on24 апреля 2015 в 20:18 говорит:
Разобрался. Мне на почту приходят два письма на один Ваш ответ. Одно письмо дубль. Это нормально?
Артем Свечин
on24 апреля 2015 в 20:38 говорит:
Ничего не могу сказать.
Константин Кислов
on31 марта 2015 в 13:24 говорит:
robots.txt один из важных моментов в продвижении блога, действительно чтобы в индексе ПС небыло всякого хлама, тонны комментариев, лучше все закрыть от индексации.
Вадим
on12 апреля 2015 в 11:04 говорит:
С какой целью нужно регулярно обновлять роботс, если структурных изменений на сайте не происходит?
Вадим
on20 апреля 2015 в 21:50 говорит:
Я бы ещё в роботс Артёма добавил индексацию картинок гуглом и яндексом.
Игорь
on25 апреля 2015 в 14:16 говорит:
Ну я не знаю где вы фишек нахватались, но судя по словам вы быстро учитесь.
Почти не давно ничего не знали, а теперь такие вопросики задаете, да и стараетесь поучить.
Вадим
on24 апреля 2015 в 12:11 говорит:
Артём, если в роботсе Host прописать другого сайта, а в Sitemap этого сайта. Так можно? И что это даст?
Артем Свечин
on24 апреля 2015 в 12:17 говорит:
Ничего хорошего. Поисковики будут плохо индексировать сайт если вообще еще будут индексировать. Вообще нужно очень серьезно подойти к созданию robots.txt.
Вадим
on24 апреля 2015 в 12:23 говорит:
Я подумал что может чёрное или серое сео. Встретился мне такой роботс.
Артем Свечин
on24 апреля 2015 в 12:24 говорит:
Ну и как индексируется этот сайт?
Вадим
on24 апреля 2015 в 12:28 говорит:
Не знаю как он индексируется, сайт не мой. А у Вас точная информация, что плохо индексироваться будет или гипотетическая?
Артем Свечин
on24 апреля 2015 в 12:32 говорит:
Скажем так, я бы не советовал так делать. Но можете попробовать поэкспериментировать, а потом расскажите.
Вадим
on24 апреля 2015 в 12:41 говорит:
Не у меня это. Я бы такой не стал делать. Встретился такой файл. Я удивился, решил Вас спросить.
Вадим
on24 апреля 2015 в 12:59 говорит:
Разобрался. Это я промашку дал. Копирование у себя случайно не то сделал, всё налезло друг на друга. Извиняюсь за беспокойство.
Игорь
on1 мая 2015 в 14:30 говорит:
Артем Вадим скорей всего про мой блог спрашивает.
До недавнего времени у меня так было по невнимательности, но индексация была.
Вадим
on2 мая 2015 в 05:02 говорит:
С правильным роботсом индексация была бы намного лучше.
Игорь
on2 мая 2015 в 20:39 говорит:
Согласен, вот теперь и посмотрим как будет индексировать
Вадим
on13 июня 2015 в 22:45 говорит:
Полтора месяца прошло. Как индексироваться сайт стал?
Игорь
on1 мая 2015 в 14:28 говорит:
Артем у меня так был настроен роботс и все индексировалось.
Вадим
on2 мая 2015 в 04:57 говорит:
Роботс Игорь когда исправите? Лучше удалите его. Сайт без роботса хорошо работает.
Игорь
on2 мая 2015 в 20:43 говорит:
Вадим, ну во первых я уже все давно исправил, я вам уже спасибо за подсказку сказал или еще раз сказать.
А во вторых, вам что заняться не чем, проверяете чужие блоги, займитесь своим и нечего здесь демагогию разводить.
Создается впечатление, что вы явным образом занимаетесь набиванием количества комментариев.
Вадим
on2 мая 2015 в 05:06 говорит:
Игорь, скажите тайну, для чего Вы в роботсе запретили заход на сайт сотне юзер-агентов?
Игорь
on2 мая 2015 в 20:45 говорит:
Я не понимаю о чем вы сейчас пишите.
И еще раз повторюсь занимайтесь своим блогом.
Вадим
on23 мая 2015 в 17:50 говорит:
Вы исправили роботс на правильное написание, уже не актуально.
Игорь
on23 мая 2015 в 23:57 говорит:
Да все нормально уже,я про это забыл.
Вадим
on23 мая 2015 в 17:51 говорит:
У Алексея Иванова роботс из двух строк плюс адрес карты сайта. Такой роботс нормальный же? У меня такой же.
Али Администратор
on23 мая 2015 в 20:16 говорит:
Вы посмотрите проиндексированные страницы в панелях веб-мастеров Гугл и Яндекс. Если там есть что-то что вы не хотите индексировать внесите в роботс.
Вадим
on23 мая 2015 в 20:22 говорит:
У меня запрещён wp-admin. Почему запрещают индексировать рlugins и thеmеs? Для безопасности сайта это критично?
Али Администратор
on23 мая 2015 в 21:27 говорит:
Зачем вам в выдаче рlugins и thеmеs? Это считается мусором в поисковой выдаче.
Вадим
on23 мая 2015 в 21:47 говорит:
Понял. Спасибо за ответ. Допишу пару строк как в Вашем роботсе.
Вадим
on12 июня 2015 в 21:31 говорит:
Значит я могу держать нежелательный контент в закрытой роботсом папке и мне ничего не будет.
Игорь
on13 июня 2015 в 19:27 говорит:
А Гугл,все равно найдет этот контент.
Потому что он не управляем.
Вадим
on13 июня 2015 в 22:44 говорит:
По идее это правильная позиция Гугла. Мало ли что Вы скрываете з недозволенного в закрытых папках.
Игорь
on17 июля 2015 в 17:27 говорит:
Нет,не правильная позиция.Для того и закрывается,что бы инфа не доступная была.
Ира
on17 июля 2015 в 14:30 говорит:
Здраствуте, подскажите нужно ли закрывать от индексации категории Disallow: /category/*/* или нет?! никак не могу разобраться в этом вопросе...
Али
on17 июля 2015 в 17:16 говорит:
Лучше закрыть. Потому что это дублирование контента.
Ира
on17 июля 2015 в 17:24 говорит:
А на вес сайта и продвижение это никак не будет влиять?
Молодая мамочка
on4 февраля 2016 в 13:19 говорит:
Добрый день, подскажите мне пожалуйста. Для распределения веса мне надо сделать что бы вес с главной страницы утекал на все страницы сайта (в том числе категории), а находясь на странице 3-го уровня или на странице категорий что бы вес не утекал на морду. Как это можно сделать, и можно ли вообще?
GuitarPro
on30 июня 2016 в 18:02 говорит:
Скажите пожалуйста, а сколько вам нужно заплатить, чтобы вы создали для моего сайта правильный роботс файл? не могу в этом разобраться, хоть стреляйся! некоторые люди утверждают, что мой роботс файл катастрофически не правильно составлен.
PRO100
on6 июля 2016 в 07:33 говорит:
Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?
Программа 3 НДФЛ
on19 июля 2016 в 13:20 говорит:
Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?
YandexBrowser
on29 июля 2016 в 15:21 говорит:
А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.