Яндекс и robots.txt

Пост устарел и оставлен тут для истории.

Похоже, что все-таки лыжи не едут. Летом добиться от Яндекса сколько-нибудь вменяемой работы с robots.txt у меня не получилось. Убрал все строчки, которые он мог бы обрабатывать и сайт довольно быстро вернулся к номальной работе, посещаемости и индексируемости.

На праздниках у меня было немного свободного времени и я немного поизучал этот вопрос. Есть у мен еще два сайта, на них установлен WordPress. WordPress сам генерирует по запросу файл robots.txt и отдает примерно такое содержимое:

На одном сайте я довольно давно заблокировал выдачу robots.txt, на втором – оставил все как есть. Отслеживаю оба сайта в Яндекс.Вебмастере. Сайт с заблокированным robots.txt проиндексирован, какое-то количество страниц есть в индексе, в общем все хорошо. Второй сайт, который отдает robots.txt, роботами Яндекса посещается, но страниц в индексе – 0 (ноль).

На выходных посмотрел несколько явно спамных сайтов на WordPress – у большинства выдача robots.txt тем или иным способом заблокирована. Чаще всего просто стоит редирект на главную страницу – закомменирован соответствующий блок в файле rewrite.php.

Очень похоже, что я не единственный наступающий на эти грабли и проблема довольно распространенная.

Поскольку я WordPress обновляю время от времени, помнить о необходимости комментировать строчку мне лень. Я блокирую выдачу robots.txt в файле .htaccess, добавляя еще одно правило RewriteRule. Блок с mod_rewrite в .htaccess получается такой:

Добавил такое-же правило и сайту, у которого выдача robots.txt заблокирована не была. Понаблюдаю динамику.

Пессимисты учат китайский

Так, на всякий случай: заголовок взят из старого советского анекдота. Полностью это выглядит так: «Оптимисты изучают английский язык, пессимисты китайский. А я реалист – я изучаю автомат Калашникова.»

Парой забавных китайских фраз поделился в своем дневнике Илья Яшин:

Фраза «Не могли бы вы вернуться на профсоюзное собрание?» по-китайски: «Ни хуйбухуй хуй дао гунхуй дахуй?».

Фраза: «Шаг за шагом идем мы к цели» звучит по-китайски так: «И бу и буде дадао муди».

Обновка

Случилась нужда в замене моего домашнего роутера на роутер с поддержкой WiFi. Мой предыдущий D-Link DI-604 всем, в общем-то устраивал, хоть и выбирался, в первую очередь, по финансовому критерию. Ну, снижал скорость – обидно, но не смертельно. 2-3 МБит хватало на 2 компьютера. Поэтому я стал тоже смотреть устройства той же фирмы. И что интересно, время прошло, модельный ряд обновился, а претензии все те-же: падение скорости. Что у DIR-300, что у DIR-400 – жалобы пользователей те же: падение скорости, смена прошивок, подбор наилучшего варианта. В общем грустно. Возиться с настройками и тюнингом совсем не хотелось. И кто-то в форуме написал “а сдал я нафиг свой DIR-400 и взял себе ZyXEL P-330W за 1800 рублей”. Вообще-то я цене удивился – всегда думал, что у ZyXEL цена неадекватная и поэтому не рассматривал этот вариант вообще. Читать далее Обновка