Next Generation CMS :: Форум поддержки

Заинтересовала наша система? Тогда этот форум для Вас!

rss

Вы не зашли.

Объявление

#1 2009-05-22 22:43:18

RocketBoy
Пользователь
Откуда: Калининград
Зарегистрирован: 2008-10-14
Сообщений: 552
Рейтинг :   27 
Профиль  Вебсайт

Вопрос по robots.txt

Прочитал

Код:

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /registration.htm
#А значит и профиля у них тоже не будет
Disallow: /profile.htm
#Да и новости они добавлять не собираются
Disallow: /addnews.htm
#И пароль тоже не теряют
Disallow: /lostpassword.htm

А если у меня ссылки на регу, аддньюс и т.д. без ЧПУ, так будет работать? (По теме 0)

Код:

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /?action=registration
#А значит и профиля у них тоже не будет
Disallow: /?action=profile
#Да и новости они добавлять не собираются
Disallow: /?action=addnews
#И пароль тоже не теряют
Disallow: /?action=lostpassword

Неактивен

 

#2 2011-04-02 10:00:32

Westergraf
Пользователь
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   
Профиль

Re: Вопрос по robots.txt

Не стал создавать новую тему хотелосьбы узнать, а вот такой robots.txt правильный или...........

Код:

User-agent: *
Disallow: /admin/
Disallow: /engine/
Disallow: /templates/
Disallow: /lostpassword/
Disallow: /register/
Disallow: /users/
Disallow: /rss.xml
Disallow: *.print

Задаю вопрос так как вообще не смыслю в этом

Да и сайт ох как трудно индексируется может дело как раз в robots.txt


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Неактивен

 

#3 2011-04-02 11:43:58

StronG
Пользователь
Откуда: Russia
Зарегистрирован: 2009-02-08
Сообщений: 431
Рейтинг :   
Профиль

Re: Вопрос по robots.txt

Westergraf, вот прочти здесь. Лично сам пользуюсь, сайты стали лучше выползать в топ!

Неактивен

 

#4 2011-04-02 11:46:11

Westergraf
Пользователь
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   
Профиль

Re: Вопрос по robots.txt

Вот это тема щас буду изучать !!!!!!


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Неактивен

 

#5 2011-04-03 04:40:48

Trashcka
Пользователь
Откуда: КиевГрад
Зарегистрирован: 2008-12-04
Сообщений: 1487
Рейтинг :   73 
Профиль

Re: Вопрос по robots.txt

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Неактивен

 

#6 2011-04-06 13:06:05

Westergraf
Пользователь
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   
Профиль

Re: Вопрос по robots.txt

Trashcka написал:

StronG, Westergraf, ))) переписала малость материал, чет я стормозила, забыла, что яндекс слегка тормоз с роботсом, а именно с директивой Allow:, просю читать/изучать обновленную версию материала Файл robots.txt для NG CMS.

Благодарю, все расписано красиво!!!!!


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Неактивен

 

#7 2011-04-07 01:15:04

Trashcka
Пользователь
Откуда: КиевГрад
Зарегистрирован: 2008-12-04
Сообщений: 1487
Рейтинг :   73 
Профиль

Re: Вопрос по robots.txt

Westergraf, на здоровье ))

Неактивен

 

#8 2012-02-23 12:59:23

Ahatomik
Пользователь
Откуда: Киев
Зарегистрирован: 2012-07-02
Сообщений: 778
Профиль  Вебсайт

Re: Вопрос по robots.txt

Trashcka, можно тебя попросить перезалить ? .... не могу перейти на страницу - не существует !
Спасибо:)

Неактивен

 

#9 2012-03-10 15:56:47

Westergraf
Пользователь
Зарегистрирован: 2011-01-12
Сообщений: 108
Рейтинг :   
Профиль

Re: Вопрос по robots.txt

Пришло письмо от Яши такого вида
Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.

Подскажите это как-то повлияет на мой robots.txt или все нормально ???


Код:

User-agent: *
Disallow: /engine/
Disallow: /templates/
Disallow: /uploads/avatars/
Disallow: /uploads/dsn/
Disallow: /uploads/files/
Allow: /uploads/images/$
Disallow: /uploads/images/thumb/
Disallow: /uploads/photos/
Allow: /plugin/gsmg/
Disallow: /plugin/
Disallow: /*print
Disallow: /search/
Disallow: /rss.xml
Disallow: /*xml
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /activate/
Disallow: /lostpassword/
Disallow: /profile.html
Disallow: /users/

Отредактированно Westergraf (2012-03-10 15:58:14)


Бесконечно Благодарен: Wolverine, Local, Trashcka, easmik, StronG, mittus, Knopik, coreldraw, infinity237, vvovvo, irbees2008, pixar2301!

Держу сайт на данном Хостинге 119 рублей для России и 35 грн для Украины!

Неактивен

 

#10 2012-03-11 23:08:44

legenda
Пользователь
Откуда: ua
Зарегистрирован: 2009-12-22
Сообщений: 2151
Рейтинг :   39 
Профиль

Re: Вопрос по robots.txt

Westergraf, смотря что именно ты хочеш запретить к индексации, например у тебя запрещена интексация страниц поиска, рсс, профили, плагинов и т .д. если они тебе не нужні сначит все ок)

Неактивен

 

#11 2012-08-01 16:24:44

vvovvo
Пользователь
Откуда: Киев
Зарегистрирован: 2012-07-07
Сообщений: 55
Рейтинг :   
Профиль  Вебсайт

Re: Вопрос по robots.txt

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

Неактивен

 

#12 2012-08-01 16:51:31

qwas
Пользователь
Откуда: Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Профиль  Вебсайт

Re: Вопрос по robots.txt

vvovvo написал:

Подскажите , как закрыть архив от индексирования.
Нужно ли закрывать от индексирования категории и подкатегории?

1. Прописываешь в свой robots.txt Disallow: /plugin/archive/
2. По моему их не нужно закрывать, они наоборот способствуют большей индексации.

Отредактированно qwas (2012-08-01 16:55:51)

Неактивен

 

#13 2012-08-01 17:23:03

vvovvo
Пользователь
Откуда: Киев
Зарегистрирован: 2012-07-07
Сообщений: 55
Рейтинг :   
Профиль  Вебсайт

Re: Вопрос по robots.txt

Спасибо.

Неактивен

 

#14 2012-09-20 21:18:32

qwas
Пользователь
Откуда: Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Профиль  Вебсайт

Re: Вопрос по robots.txt

Есть у кого свеженький и правильный robots? А то не совсем уверен, что правильно все отрубил/врубил.

Неактивен

 

#15 2012-09-20 22:18:57

infinity237
Модератор
Откуда: Russia, Moscow
Зарегистрирован: 2008-11-09
Сообщений: 2674
Рейтинг :   175 
Профиль  Вебсайт

Re: Вопрос по robots.txt

Относительно свежий:
http://webcache.googleusercontent.com/s … ient=opera

Неактивен

 

#16 2012-09-20 23:23:10

qwas
Пользователь
Откуда: Kyyiv
Зарегистрирован: 2012-05-16
Сообщений: 229
Рейтинг :   
Профиль  Вебсайт

Re: Вопрос по robots.txt

infinity237, супер! Спасибо огромнейшее. Теперь точно уверен, что правильно все. Оказывается основную часть закрыл, то что нужно было и несколько мелочевок еще закрыл))

Неактивен

 

Board footer

Powered by FluxBB

[ Generated in 0.012 seconds, 24 queries executed ]