ходить на сайт и бомбить его тупыми запросами, сильно похожими на попытки сделать sql injection. Пробовал блокировать его в robots.txt и без всякого успеха. В результате пошел в логи, посмотрел айпишник откуда он приходит и заблокировал по айпишнику. Все, теперь не ходит. Вот как эта сволочь называется: StackRambler/2.0 (MSIE incompatible)
PS: Вдогонку IP-адрес шпиона 81.222.64.10
PS: Вдогонку IP-адрес шпиона 81.222.64.10
Сообщения
5 комментариев:
Мне тоже это нечто не понравилось. Рамовские боты обычно приходили с родного домена. Но может это особый гугловый бот? Смотрю сейчас закешированную гуглом 23 мая 2009 23:36:27 GMT страницу se-team.org.ua/node/97 . Так вот на ней в правой колонке сейчас можно увидеть: Ваш IP: 81.222.64.10 StackRambler 2.0!
Гугловский бот обычно читает robots.txt, а этот тупо игнорирует. IP не наш, а бота :) было еще два адреса из того же диапазона. Заблокировал тоже.
Я заметил на одном своём домене, что Googlebot с гуглового родного домена отреагировал на запрет индексации одного каталога на нём только через неделю, хотя, как показывали серверные логи, robots.txt всё это время запрашивал. В выдаче Гугла страницы запрещенного каталога были несколько недель, а все урлы этого каталога в количестве 21 шт уже несколько месяцев выдаются по запросу типа "site:my-site.ru my-site.ru" (адрес домена только на этом домене). Это при том, что из нескольких тысяч нормальных незапрещенных страниц сайта в индексе всего полторы сотни! Так что в Гугле также присутствуют не очень приятные вещицы. Всё это я пишу не для того чтобы поспорить, но пообщаться на волнующую тему.
Спасибо за интересную информацию. Хотя за гуглом такого не замечал. Вроде всегда адекватно реагирует. Правда при такой интенсивности сканирования кеш для чтения robots.txt должен быть.
Отправить комментарий