Next Generation CMS :: Форум поддержки

Заинтересовала наша система? Тогда этот форум для Вас!

Вы не зашли.

#1 2011-07-24 17:35:39

oldvovk
Участник
Зарегистрирован: 2010-10-14
Сообщений: 137
Рейтинг :   
Сайт

Проблема индексации моих сайтов на NG

Что то придолбал меня яндекс с индексацией.

1. Вначале жизни сайта вроде начинает клевать, страницы появляются, проходит 2-3 месяца и начинают вываливаться страницы. В итоге получаем АГС.
2. Что еще характерно - в описании сайта фигурирует совсем не основной текст, а все что хочется, топ меню, боковой сайдбар, нижний бар и подвал.
3. По вебмастеру постоянно пытается найти страницу разделов т.е. к примеру /blog/ и получает соответственно 404. Хотя по логике двига она есть /blog.html

Чего делать? По первым двум идея пока одна - блокнуть дубли аксесом и попробовать ноиндексом блокнуть ему все вышеперечисленное части текста и оставить основной текст.

А вот чего с третим делать теперь. Менять формат ссылок?

Не в сети

#2 2011-07-24 18:33:29

GRADUSnick
Участник
Зарегистрирован: 2010-12-05
Сообщений: 101
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

блокнуть дубли аксесом

чё такое "аксес"?
для дублей достаточно robots.txt грамотно составленного

По вебмастеру постоянно пытается найти страницу разделов т.е. к примеру /blog/ и получает соответственно 404. Хотя по логике двига она есть /blog.html

странно написано. раньше чпу иное было?

Не в сети

#3 2011-07-24 19:18:15

StronG
Участник
Откуда Russia
Зарегистрирован: 2009-02-08
Сообщений: 431
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

Странно, у меня тьфу-тьфу-тьфу, только растут показатели, есть порталы уже с 20к станиц и еще растут cool

Не в сети

#4 2011-07-24 20:40:56

oldvovk
Участник
Зарегистрирован: 2010-10-14
Сообщений: 137
Рейтинг :   
Сайт

Re: Проблема индексации моих сайтов на NG

блокнуть дубли аксесом

Не до конца прописал мысли. Изменить ссылки разделов, а через файл .htaccess редиректнуть html разделов на получившееся.

странно написано. раньше чпу иное было?

А чего странного? Двиг по дефолту разве по другому делает или я ошибаюсь?

Выход пока реально вижу - корректировать ссылки разделов в вид без html

Изменено oldvovk (2011-07-24 20:46:11)

Не в сети

#5 2011-07-24 22:40:33

GRADUSnick
Участник
Зарегистрирован: 2010-12-05
Сообщений: 101
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

Изменить ссылки разделов, а через файл .htaccess редиректнуть html разделов на получившееся.

это не поможет избавиться от дублей

Двиг по дефолту разве по другому делает или я ошибаюсь?

да. только вопрос был иной - чпу раньше которое было на сайте успело попасть в индекс?

Выход пока реально вижу - корректировать ссылки разделов в вид без html

а странно то, что описывается проблема как-то странно, непонятным языком. надо смотреть логи в панели ЯВМ.

есть порталы уже с 20к станиц и еще растут

как наполняешь? в ручную или каким-то приватным граббером?

Не в сети

#6 2011-07-25 05:10:26

easmik
VIP забанил этого пользователя.
Зарегистрирован: 2011-02-01
Сообщений: 1,031
Рейтинг :   37 

Re: Проблема индексации моих сайтов на NG

У меня 11 тыс проиндексировано и не какой АГС мне не страшен, даже не смотря на то что у меня описания совсем мало и бот считает страницы одинаковыми более чем на 90%.

Не в сети

#7 2011-07-25 08:00:51

StronG
Участник
Откуда Russia
Зарегистрирован: 2009-02-08
Сообщений: 431
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

как наполняешь? в ручную или каким-то приватным граббером?

Нет, граббером не пользуюсь, у меня в основном рефераты, мед.порталы, авто и кулинария. Для них использую сканы из советских книг и журналов и перевод из зарубежной литературы. Для рефератов примерно одна база собранная из разных источников, но с разными параметрами уникализации.

oldvovk, попробуй в robots прописать параметры по этой инструкции

Не в сети

#8 2011-07-25 15:18:33

oldvovk
Участник
Зарегистрирован: 2010-10-14
Сообщений: 137
Рейтинг :   
Сайт

Re: Проблема индексации моих сайтов на NG

oldvovk, попробуй в robots прописать параметры

Да он такой же практически, смотрел как-то, ну если только добавлено еще чуть по страницам.

да. только вопрос был иной - чпу раньше которое было на сайте успело попасть в индекс?

Да не менялось оно, было и есть дефолт.

а странно то, что описывается проблема как-то странно, непонятным языком. надо смотреть логи в панели ЯВМ.

Что конкретно непонятно? Что по дефолту раздел имеет расширение .html? Или что в постатейке фигурирует уже без html? Что бот судя по ссылке пытается найти раздел без html раз в ссылках он есть и не находит.

Это проблема, скорее не движка, а бота Яндекса, но от этого не легче. Еще trashka давненько говорила, что лучше бы изменить чпу разделов и не светить там .html. Поздно увидел, теперь кромсать по живому придется.

Не в сети

#9 2011-07-25 18:12:42

legenda
Участник
Откуда ua
Зарегистрирован: 2009-12-22
Сообщений: 2,160
Рейтинг :   39 

Re: Проблема индексации моих сайтов на NG

oldvovk, а ты пробовал сделать Sitemap и скормить его яндексу и гуглу?
кстате проблема с индексацией у тебя з каким поисковиком?

Не в сети

#10 2011-07-27 00:41:51

oldvovk
Участник
Зарегистрирован: 2010-10-14
Сообщений: 137
Рейтинг :   
Сайт

Re: Проблема индексации моих сайтов на NG

Да с ботом Яндекса.  Сайтмеп есть.

Проблема то с Яндексом есть у многих по поводу агс. Я и не стал тут на этом заострять внимание.

Больше смущает вторая проблема по тексту. По другим движкам не сталкивался с таким, чтобы в сниппете меню лезло, категории. Просмотрел код - ничего нет криминального. Попер в эксперимент, засунул в ноиндекс незначимые части. Посмотрю его реакцию.

По третей - все же сменил чпу на без html. Google шемет - уже поменял на 2 сайтах все. По его данным ошибок нет. Подождем Я. - его и так тут глючит с вебмастером.

Да и вопрос - как сделать, чтобы при запросе несуществующей страницы сайт.ru/portfolio/?t=jetoo.html

отдавалась не главная а ошибка 404

Изменено oldvovk (2011-07-27 00:46:39)

Не в сети

#11 2011-07-27 08:18:18

GRADUSnick
Участник
Зарегистрирован: 2010-12-05
Сообщений: 101
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

Что бот судя по ссылке пытается найти раздел без html раз в ссылках он есть и не находит.

вот откуда ссылки на раздел без расширения html на сайте, если расширения html отсутствуют

Это проблема, скорее не движка, а бота Яндекса, но от этого не легче.

ни движок, ни яндекс в этом не виноват - кривость рук вебмастера, вот основная проблема

Не в сети

#12 2011-07-27 12:02:55

v01d
Модератор
Зарегистрирован: 2008-10-14
Сообщений: 179
Рейтинг :   
Сайт

Re: Проблема индексации моих сайтов на NG

У меня яшка не видит содержимого в тегах loc. Кому удалось скормить яшке карту?


Продвигай NGCMS,
скачай статью и на свой сайт повесь.
Геленджик - лучший отдых на Черном море

Не в сети

#13 2011-07-27 13:15:13

oldvovk
Участник
Зарегистрирован: 2010-10-14
Сообщений: 137
Рейтинг :   
Сайт

Re: Проблема индексации моих сайтов на NG

вот откуда ссылки на раздел без расширения html на сайте, если расширения html отсутствуют

Это вопрос, утверждение или вывод?

ни движок, ни яндекс в этом не виноват - кривость рук вебмастера, вот основная проблема

Я вам вроде в трамвае на ногу не наступал, за что ж тогда скрытое оскорбление? Блин, гуру, как на серче, главное - пукнуть.

Не в сети

#14 2011-07-27 14:03:41

StronG
Участник
Откуда Russia
Зарегистрирован: 2009-02-08
Сообщений: 431
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

oldvovk, насколько уникальный контент? Попробуйте шаблон адаптировать для поиска (H1, H2 ...)

Не в сети

#15 2011-07-28 16:16:18

GRADUSnick
Участник
Зарегистрирован: 2010-12-05
Сообщений: 101
Рейтинг :   

Re: Проблема индексации моих сайтов на NG

Это вопрос, утверждение или вывод?

Это вывод из того сумбурного текста, что ты написал.

Я вам вроде в трамвае на ногу не наступал, за что ж тогда скрытое оскорбление? Блин, гуру, как на серче, главное - пукнуть.

1. я с сёрча.
2. яндекс никому тоже на ноги не наступал, зачем его оскорблять? Он не виноват в твоих проблемах

У меня яшка не видит содержимого в тегах loc. Кому удалось скормить яшке карту?

мне.

Не в сети

Подвал раздела

Работает на FluxBB