Next Generation CMS :: Форум поддержки

Заинтересовала наша система? Тогда этот форум для Вас!

Вы не зашли.

#1 2009-05-22 22:43:18

RocketBoy
Участник
Откуда Калининград
Зарегистрирован: 2008-10-14
Сообщений: 552
Рейтинг :   27 
Сайт

Вопрос по robots.txt

Прочитал

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /registration.htm
#А значит и профиля у них тоже не будет
Disallow: /profile.htm
#Да и новости они добавлять не собираются
Disallow: /addnews.htm
#И пароль тоже не теряют
Disallow: /lostpassword.htm

А если у меня ссылки на регу, аддньюс и т.д. без ЧПУ, так будет работать? (По теме 0)

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /?action=registration
#А значит и профиля у них тоже не будет
Disallow: /?action=profile
#Да и новости они добавлять не собираются
Disallow: /?action=addnews
#И пароль тоже не теряют
Disallow: /?action=lostpassword

Не в сети

#2 2011-04-02 10:00:32

Westergraf
Участник
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   

Re: Вопрос по robots.txt

Не стал создавать новую тему хотелосьбы узнать, а вот такой robots.txt правильный или...........

User-agent: *
Disallow: /admin/
Disallow: /engine/
Disallow: /templates/
Disallow: /lostpassword/
Disallow: /register/
Disallow: /users/
Disallow: /rss.xml
Disallow: *.print

Задаю вопрос так как вообще не смыслю в этом

Да и сайт ох как трудно индексируется может дело как раз в robots.txt


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Не в сети

#3 2011-04-02 11:43:58

StronG
Участник
Откуда Russia
Зарегистрирован: 2009-02-08
Сообщений: 431
Рейтинг :   

Re: Вопрос по robots.txt

Westergraf, вот прочти здесь. Лично сам пользуюсь, сайты стали лучше выползать в топ!

Не в сети

#4 2011-04-02 11:46:11

Westergraf
Участник
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   

Re: Вопрос по robots.txt

Вот это тема щас буду изучать !!!!!!


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Не в сети

#5 2011-04-03 04:40:48

Trashcka
Участник
Откуда КиевГрад
Зарегистрирован: 2008-12-04
Сообщений: 1,487
Рейтинг :   73 

Re: Вопрос по robots.txt

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Не в сети

#6 2011-04-06 13:06:05

Westergraf
Участник
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   

Re: Вопрос по robots.txt

Trashcka пишет:

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Благодарю, все расписано красиво!!!!!


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Не в сети

#7 2011-04-07 01:15:04

Trashcka
Участник
Откуда КиевГрад
Зарегистрирован: 2008-12-04
Сообщений: 1,487
Рейтинг :   73 

Re: Вопрос по robots.txt

Westergraf, на здоровье ))

Не в сети

#8 2012-02-23 12:59:23

Ahatomik
Старожил
Откуда Киев
Зарегистрирован: 2012-07-02
Сообщений: 832
Сайт

Re: Вопрос по robots.txt

Trashcka, можно тебя попросить перезалить ? .... не могу перейти на страницу - не существует !
Спасибо:)

Не в сети

#9 2012-03-10 15:56:47

Westergraf
Участник
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   

Re: Вопрос по robots.txt

Пришло письмо от Яши такого вида
Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.

Подскажите это как-то повлияет на мой robots.txt или все нормально ???


User-agent: *
Disallow: /engine/
Disallow: /templates/
Disallow: /uploads/avatars/
Disallow: /uploads/dsn/
Disallow: /uploads/files/
Allow: /uploads/images/$
Disallow: /uploads/images/thumb/
Disallow: /uploads/photos/
Allow: /plugin/gsmg/
Disallow: /plugin/
Disallow: /*print
Disallow: /search/
Disallow: /rss.xml
Disallow: /*xml
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /activate/
Disallow: /lostpassword/
Disallow: /profile.html
Disallow: /users/

Изменено Westergraf (2012-03-10 15:58:14)


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Не в сети

#10 2012-03-11 23:08:44

legenda
Участник
Откуда ua
Зарегистрирован: 2009-12-22
Сообщений: 2,151
Рейтинг :   39 

Re: Вопрос по robots.txt

Westergraf, смотря что именно ты хочеш запретить к индексации, например у тебя запрещена интексация страниц поиска, рсс, профили, плагинов и т .д. если они тебе не нужні сначит все ок)

Не в сети

#11 2012-08-01 16:24:44

vvovvo
Участник
Откуда Киев
Зарегистрирован: 2012-07-07
Сообщений: 55
Рейтинг :   
Сайт

Re: Вопрос по robots.txt

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

Не в сети

#12 2012-08-01 16:51:31

qwas
Участник
Откуда Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Сайт

Re: Вопрос по robots.txt

vvovvo пишет:

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

1. Прописываешь в свой robots.txt Disallow: /plugin/archive/
2. По моему их не нужно закрывать, они наоборот способствуют большей индексации.

Изменено qwas (2012-08-01 16:55:51)

Не в сети

#13 2012-08-01 17:23:03

vvovvo
Участник
Откуда Киев
Зарегистрирован: 2012-07-07
Сообщений: 55
Рейтинг :   
Сайт

Re: Вопрос по robots.txt

Спасибо.

Не в сети

#14 2012-09-20 21:18:32

qwas
Участник
Откуда Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Сайт

Re: Вопрос по robots.txt

Есть у кого свеженький и правильный robots? А то не совсем уверен, что правильно все отрубил/врубил.

Не в сети

#15 2012-09-20 22:18:57

infinity237
Модератор
Откуда Russia, Moscow
Зарегистрирован: 2008-11-09
Сообщений: 2,674
Рейтинг :   176 
Сайт

Re: Вопрос по robots.txt

Относительно свежий:
http://webcache.googleusercontent.com/s … ient=opera

Не в сети

#16 2012-09-20 23:23:10

qwas
Участник
Откуда Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Сайт

Re: Вопрос по robots.txt

infinity237, супер! Спасибо огромнейшее. Теперь точно уверен, что правильно все. Оказывается основную часть закрыл, то что нужно было и несколько мелочевок еще закрыл))

Не в сети

Подвал раздела

Работает на FluxBB