Если честно, то вначале хотел обозвать google, «тихим матерным» словом, но так как эти самые тихие словечки я не употребляю, то обойдусь тем заголовком что есть. Но гугл меня сегодня по настоящему задел за живое, добавив не только адреналина, но и заставил изрядно поднапрячься и заерзать на стульчике.
А началось с того, что сев писать статью по результатам за март, стал подбивать заодно всякие показатели, ну и проверил сколько страниц блога в основном индексе google. Увиденное ввергло меня в глубой шок:
Капец! Откуда в индексе взялось 3200 страниц, если за недельку до того их было в 10 раз меньше?. Ну думаю, грядет апп PR и гугл полностью переиндексировал сайт, но потом прикинул, что даже со всеми тегами, категориями, архивами и страницами, ну никак не должно столько набраться. Тем более, что в последнее время я старался уменьшить количестов «левых» страничек в индексе, чтобы увеличить соотношение основного индекса к дополнительному. Надо сказать, это соотношение росло с каждым месяцем, а тут как серпом по одному месту.
Полез в яндекс, все вроде нормально, у того никаких подобных «ляпов» не наблюдается. Стал проверять блог на взлом, да и всякие другие варианты, мало ли действительно кто дор прицепил. Как оказалось решение лежало несколько в иной плоскости, но почему так произошло, до сих пор не могу въехать. Вот такая картинка наблюдается в индексе:
И таких вот страничек в индексе насчиталось 2800. Стал проверять куда ведут подобные странички и оказалось, что гугл щедро проиндексировал все рисунки каптчи, которая стояла у меня на блоге — Not Captcha. Перейдя по ссылке в индексе гугла, естественно дополнительном, наблюдал примерно следующее:
И какого спрашивается, эти картинки вообще попали в индекс, если в файле robots было черным по белому прописано: Disallow: /wp-content/
Теперь поменял на Disallow: /wp-content/plugins, для особо не понятливых поисковиков. Но не думаю, что это что-то изменит, здается мне, что гугл стал плевать на всякие robots 
Короче вопросов у меня появилась уйма, но в одном можно быть почти уверенным, что апп у гугла будет со дня на день. Хотя, кто его знает, я теперь ничему уже не удивляюсь.
Ну а с итогами разберусь чуть позже, скажу лишь, что результаты есть там, где что-то делаешь. Как только меня озадачил вопрос, как увеличить заработок с Adsense, он почему-то стал расти, да и блогун радует глаз, хотя вроде как и ленюсь переодически. Хочу еще немного прокачать несколько твитеров и тоже добавить их в эту системку, а там посмотрим, что из этого выйдет.
Знаете ли вы, что много полезной информации можно из почерпнуть из Google Cache, если нет, то прогуляйтесь по ссылке.
Олег Маркарьян, написал отличную статью про то, как правильно составить на работу резюме, очень дельные советы.
Думаю ни чего страшного не произошло, гугл же различает картинки и html страницы. На PR в худшую сторону это не должно сказаться.
Глюки бывают у любой поисковой системы! Будем надеяться что это только некорректные формы поиска, которые в последствии будут устранены
Тоже заметил, у меня категории индексирует несмотря на запрет в роботс
Ну а реальный негатив кроме циферок в панели вебмастера гугли есть с этого?
И да, действительно, 4 апреля уже был ап PR
Предугадали.
У меня гугл тоже за несколько дней до ап всё проиндексировал.
Да уж, гугл приподнес сюрприз, а насчет контекстной рекламы от него же, клики последнее время вообще по центу или два в основном идут
Сдается мне это частный случай с глюком ПС, у себя такого незамечал вроде. Единственное чего немогу понять, так что гугл страницы кидает то в основной, то в дополнительный, такая свистопляска примерно 700-800 страниц скачут туда сюда…
Увлекательная история получилась!-)
Интересно вышло с выдачей… про всякое читал, а про такое первый раз…-))
Возможно Гугль что то ищет… вот и плюет на робота, или же изменился алгоритм и робота не учли или же просто он не нужен.
Я не очень понимаю в файлах robots.txt, нашла в сети готовый шаблон и сунула себе такую же, подскажите, пожалуйста, я правильно ее составила, с точки зрения улучшения продвижения —
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Ляйсан, файл то неплохой, только у вас комменты закрыты от индексации. Если вы хотите развитию своему блогу, я бы этого не делал.
Та забей, у всех поисковиков бывают случаются подобные ляпы, думаю что через неделю другую все вернется на круги своя и эти странички выпадут с индекса.
У меня такая же история сначала индексации, все что можно Гугл в индекс впихнул. Я и robots.txt переписывал, пытаясь закрыть-перезакрыть, но бесполезно, чем дальше, тем больше ссылок в заблоченные зоны.
а чем плохо если поисковики будут индексировать все страницы, включая со счетчиками, капчами и т.д. и т.п.??? Объясните пожалуйста!
strikestar, а Вы может еще хотите чтобы он проиндексировал движок сайта в котором пароли храняться?
Лишний индекс тоже не к чему.
Радкевич С., все понял, спасибо
Серёж, микросовет: пиши инфы на стр. поменьше — лучше разбивй на куски…
И читателям бут время анализить, и тупым поисковикам — «обмозговать»…
Александр, большое спасибо за совет! Но есть одно но. Гугл ну очень любит когда на странице много контекста и я иногда в угоду ему его и увеличиваю
, что в основном индексе было статей побольше. И надо сказать, гугл значительно поднял мои позиции.
Я думаю, это временные неполадки и скоро все вернется на место!
Конечно же ничего страшного, но WTF? xD
Не понимаю… как он их обнаружил…