robots.txt

Разбирал список различных User-Agent’ов, выловленных из логов разных серверов, наткнулся случано на вот такого: ‘MyGoods.Ru/beta’. Решил посмотреть что это такое, пошел на указанный сайт — ничего интересного, народ пытается создать поисковик по товарам. Заглянул на форум, там возмущенный владелец какого-то сайта вопрошает о том, что поисковый робот этих самых майгудс почему-то не запрашивает файл robots.txt, на случай, если владелец сайта не желает чтобы содержимое сайта было проиндексировано. Ответ администратора убил меня наповал. Цитирую дословно:

«Собрав статистику мы выяснили что примерно 30% интернет-магазинов закрывают свои каталоги товаров, исходя из этого мы временно убрали проверку файла robots.txt, в целях охвата возможно большего количества различных вариантов размещения товаров на HTML странице. Если какому-либо интернет-магазину не нравится что мы его индексируем, он может сообщить об этом нам в техподдержку support@mygoods.ru и мы исключим данный сайт из списка индексируемых.»

Ну, нормальные люди? На вский случай — ip с которого приходит робот этих деятелей 193.138.233.50.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *