Материалы. Заблокировать ростелеком на сайте 

10 лет назад

Ростелеком последнее время занимается сканированием сайтов. Их поисковый робот никаким образом, как это обычно принято, не представляясь. Игнорируя директиву crawler-delay в файле robots.txt методично перебирает все страницы, что не лучшим образом может сказываться на работоспособности сервера. Попытки заблокировать доступ к сайту не возымели должного действия и робот продолжает ходить и требовать страницы сайта:

 
109.207.13.44 - - [05/Oct/2013:00:42:40 +0400] "GET /music/lyrics/11016-Bes-paniki.html HTTP/1.1" 403 508 "-" "Mozilla/5.0 (compatible; SearchBot)" 
109.207.13.44 - - [05/Oct/2013:00:42:43 +0400] "GET /music/lyrics/1962-The-Blitz-1940.html HTTP/1.1" 403 510 "-" "Mozilla/5.0 (compatible; SearchBot)" 
109.207.13.44 - - [05/Oct/2013:00:42:45 +0400] "GET /music/track/2571-Esli-Budet-Dozhd%27.html HTTP/1.1" 403 511 "-" "Mozilla/5.0 (compatible; SearchBot)"

Если их поисковые роботы, с какой-то целью хотят узнать содержимое ваших страниц, то пусть соблюдают требования указанные создателем сайта в файле robots.txt, а также указывают или адрес сайта или почтовый ящик, по которому авторы сайта могут с ними связаться. А до тех пор, все запросы с их диапазона будут заблокированы на сервере следующей командой:

 
​iptables -A INPUT -s 109.207.13.0/24 -p tcp -j DROP