Вопрос по robots.txt

RocketBoy · 2009-05-22 22:43:18

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /registration.htm
#А значит и профиля у них тоже не будет
Disallow: /profile.htm
#Да и новости они добавлять не собираются
Disallow: /addnews.htm
#И пароль тоже не теряют
Disallow: /lostpassword.htm

А если у меня ссылки на регу, аддньюс и т.д. без ЧПУ, так будет работать? (По теме 0)

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /?action=registration
#А значит и профиля у них тоже не будет
Disallow: /?action=profile
#Да и новости они добавлять не собираются
Disallow: /?action=addnews
#И пароль тоже не теряют
Disallow: /?action=lostpassword

Westergraf · 2011-04-02 10:00:32

Не стал создавать новую тему хотелосьбы узнать, а вот такой robots.txt правильный или...........

User-agent: *
Disallow: /admin/
Disallow: /engine/
Disallow: /templates/
Disallow: /lostpassword/
Disallow: /register/
Disallow: /users/
Disallow: /rss.xml
Disallow: *.print

Задаю вопрос так как вообще не смыслю в этом

Да и сайт ох как трудно индексируется может дело как раз в robots.txt

StronG · 2011-04-02 11:43:58

Westergraf, вот прочти здесь. Лично сам пользуюсь, сайты стали лучше выползать в топ!

Westergraf · 2011-04-02 11:46:11

Вот это тема щас буду изучать !!!!!!

Trashcka · 2011-04-03 04:40:48

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Westergraf · 2011-04-06 13:06:05

Trashcka пишет:

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Благодарю, все расписано красиво!!!!!

Trashcka · 2011-04-07 01:15:04

Westergraf, на здоровье ))

Ahatomik · 2012-02-23 12:59:23

Trashcka, можно тебя попросить перезалить ? .... не могу перейти на страницу - не существует !
Спасибо:)

Westergraf · 2012-03-10 15:56:47

Пришло письмо от Яши такого вида
Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.
По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.
Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.
Подробнее об использовании директив вы можете прочитать в Помощи.

Подскажите это как-то повлияет на мой robots.txt или все нормально ???

User-agent: *
Disallow: /engine/
Disallow: /templates/
Disallow: /uploads/avatars/
Disallow: /uploads/dsn/
Disallow: /uploads/files/
Allow: /uploads/images/$
Disallow: /uploads/images/thumb/
Disallow: /uploads/photos/
Allow: /plugin/gsmg/
Disallow: /plugin/
Disallow: /*print
Disallow: /search/
Disallow: /rss.xml
Disallow: /*xml
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /activate/
Disallow: /lostpassword/
Disallow: /profile.html
Disallow: /users/

Изменено Westergraf (2012-03-10 15:58:14)

legenda · 2012-03-11 23:08:44

Westergraf, смотря что именно ты хочеш запретить к индексации, например у тебя запрещена интексация страниц поиска, рсс, профили, плагинов и т .д. если они тебе не нужні сначит все ок)

vvovvo · 2012-08-01 16:24:44

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

qwas · 2012-08-01 16:51:31

vvovvo пишет:

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

1. Прописываешь в свой robots.txt Disallow: /plugin/archive/
2. По моему их не нужно закрывать, они наоборот способствуют большей индексации.

Изменено qwas (2012-08-01 16:55:51)

vvovvo · 2012-08-01 17:23:03

Спасибо.

qwas · 2012-09-20 21:18:32

Есть у кого свеженький и правильный robots? А то не совсем уверен, что правильно все отрубил/врубил.

infinity237 · 2012-09-20 22:18:57

Относительно свежий:
http://webcache.googleusercontent.com/s … ient=opera

qwas · 2012-09-20 23:23:10

infinity237, супер! Спасибо огромнейшее. Теперь точно уверен, что правильно все. Оказывается основную часть закрыл, то что нужно было и несколько мелочевок еще закрыл))

Next Generation CMS :: Форум поддержки

Объявление

#1 2009-05-22 22:43:18

Вопрос по robots.txt

#2 2011-04-02 10:00:32

Re: Вопрос по robots.txt

#3 2011-04-02 11:43:58

Re: Вопрос по robots.txt

#4 2011-04-02 11:46:11

Re: Вопрос по robots.txt

#5 2011-04-03 04:40:48

Re: Вопрос по robots.txt

#6 2011-04-06 13:06:05

Re: Вопрос по robots.txt

#7 2011-04-07 01:15:04

Re: Вопрос по robots.txt

#8 2012-02-23 12:59:23

Re: Вопрос по robots.txt

#9 2012-03-10 15:56:47

Re: Вопрос по robots.txt

#10 2012-03-11 23:08:44

Re: Вопрос по robots.txt

#11 2012-08-01 16:24:44

Re: Вопрос по robots.txt

#12 2012-08-01 16:51:31

Re: Вопрос по robots.txt

#13 2012-08-01 17:23:03

Re: Вопрос по robots.txt

#14 2012-09-20 21:18:32

Re: Вопрос по robots.txt

#15 2012-09-20 22:18:57

Re: Вопрос по robots.txt

#16 2012-09-20 23:23:10

Re: Вопрос по robots.txt

Подвал раздела