crea87 (crea87) wrote,
crea87
crea87

  • Mood:

Яша плохо индексирует странички в ЖЖ. Кто виноват?

Долго, очень долго я грешила на Яндекс, который последнее время все хуже и хуже индексирует мой блог. Даже пыталась сделать для него карту сайта, чтобы улучшить видимость блога для поисковика. Столько времени потратила, а оказалось, что затея эта бесполезная. К ЖЖ карту сайта никак не прилепишь. Потом смотрю причины отказа в индексации Яндексом, и вижу следующее: «Ошибки на стороне сервера или сайта». Оказывается, целых 1884 страницы не проиндексированы, и вот почему: «Документ запрещен в файле robots.txt». Начинаю судорожно соображать, когда это на меня такая жажда запрещения напала, но, похоже, у меня амнезия. Поиски ответов приводят в чужой ЖЖ, где добрые люди советуют порыться в установках журнала, но никак галочек напротив графы «Минимизировать попадание моего журнала в поисковые системы» у меня нет. Странно, правда? Продолжаю мучить Яндекс и вижу следующее Яшино утверждение: robots.txt моего блога выглядит так:

User-Agent: Mediapartners-Google*
Disallow:
Sitemap: http://www.livejournal.com/sitemap.xml
User-Agent: TwitterBot
Disallow:
User-Agent: *
Disallow: /data/foaf/
Disallow: /tag/
Disallow: /friendstimes
Disallow: /calendar
Disallow: /1999/
Disallow: /2000/
Disallow: /2001/
Disallow: /2002/
Disallow: /2003/
Disallow: /2004/
Disallow: /2005/
Disallow: /2006/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/

Блог я веду с 2010, поэтому логично звучит замечание одного из блогеров, что это запрещение не для меня, а для того, чтобы не дублировались записи через архив. Тем не менее, возникает вопрос, а не влияет ли все же это Disallow на индексацию блога Яндексом? Чисто ради интереса беру первые три страницы блога и вручную добавляю каждый пост в Яндекс. Оказывается, практически все эти свежие странички проиндексированы, даже посты с цитатами (по сути, копипаст) и посты в одну картину. Но вот уже на четвертой страничке Яндекс ослеп. Оттуда в индекс попал (или задержался в нем?) один единственной пост. Хотя по содержанию там все тоже самое (например, мои отзывы о прочитанных книгах и фотографии Харькова с велопокатух), что попало в индекс на первых трех страницах. Более того, посты на четвертой странице Яндекс добавляет с ужасающим скрипом. Он постоянно выдает мне ошибки типа: «Недоступен сервер, на котором находится сайт», «При обработке запроса произошла ошибка», «Сайт недоступен или отвечает слишком долго». Т.е. фактически, чем дальше в блог, тем труднее Яше. Спрашивается, и в чем тут проблема? Может быть, все-таки в ЖЖ? Да, некоторые старые статьи находятся в поиске Яндекса, уж не знаю, по какой причине они там зависли, но это не отменяет закономерности: в индексе Яндекса находятся, в основном, свежие статьи. Старые он оттуда выбрасывает. Вопрос лишь в том, почему так происходит? Поделитесь своим пониманием? Или у вас такой проблемы нет?

Tags: ЖЖ, Интернет, дебилизм
Subscribe

  • Тина Силиг “Сделай себя сам”

    Работа Тины Силиг – это очередная жертва неадекватной локализации. Название «Сделай себя сам. Советы для тех, кто хочет оставить свой след»…

  • Синдром "слишком большой вложенной суммы"

    Уход придает вам сил. Он напоминает о том, что вы контролируете ситуацию и можете выйти из нее в любой удобный момент. Вам не нужно быть стражником…

  • Начинающим предпринимателям Днепра

    Всем днепровским начинающим предпринимателям, только начавшим разрабатывать свой собственный проект, будет интересно заглянуть на сайт юридической…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 18 comments

  • Тина Силиг “Сделай себя сам”

    Работа Тины Силиг – это очередная жертва неадекватной локализации. Название «Сделай себя сам. Советы для тех, кто хочет оставить свой след»…

  • Синдром "слишком большой вложенной суммы"

    Уход придает вам сил. Он напоминает о том, что вы контролируете ситуацию и можете выйти из нее в любой удобный момент. Вам не нужно быть стражником…

  • Начинающим предпринимателям Днепра

    Всем днепровским начинающим предпринимателям, только начавшим разрабатывать свой собственный проект, будет интересно заглянуть на сайт юридической…