Счетчик Sitemeter засек на днях посещение одного моего ресурса роботом. Вот выдержка из отчета:
1 2 3 4 5 |
IP: 66.249.71.# (Google) Browser: Google 5.0: Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html) <strong>Javascript: enabled</strong> Page views: 3 Visit Length: 17 min. |
Паук обычный. Но обратите внимание на поддержку Javascript! К тому же счетчик Sitemeter – это скрипт вот такой:
1 2 3 4 |
<!-- Site Meter XHTML Strict 1.0 --> <script type="text/javascript" src="http://s31.sitemeter.com/js/counter.js?site=…">// <![CDATA[ // ]]></script> <!-- Copyright (c)2006 Site Meter --> |
Причем IP адрес правильный, это настоящий Googlebot’овский адрес!
Гугл обучил или обучает своих пауков понимать Javascript?
Update: гугл помог найти мнение коллективного разума. Гуглобот умеет находить ссылки внутри тэгов script и ходить по этим ссылкам. Похоже на правду.