Ваш IP: 54.92.197.82

Главная » Защита сайта от роботов

Защита сайта от роботов

Опять большая нагрузка на сервер от сайтов? Причин большой нагрузки на сервер много. Это может быть вызвано большим количеством посетителей на сайте одновременно, может быть из-за большого количества посещений сайта различными роботами. Боты или роботы бывают нужными и ненужными и все они создают определённую нагрузку на сервер, где расположен сайт.

Небольшой собственный опыт.... В течении почти месяца была через день большая нагрузка на сервер, иногда превышала почти в три раза допустимую нагрузку. Если смотреть логи, то не совсем понятно, кто посещал сайт. Запросов бывает очень много, но не похожие на простых посетителей. Только вот не все боты обозначают себя в этих запросах.

Задачу с нагрузкой надо всё-таки решать. Есть несколько плагинов WordPress, которые помогают в решении этой задачи. А суть задачи заключается в том, какие роботы посещают сайты и определить ненужных роботов, после чего просто заблокировать им посещение сайта через файл .htaccess

Из всех плагинов я выбрал wp-log-robots. Этот плагин определяет посещения сайта всеми роботами и идентифицирует их. Вот результат его работы:

работа плагинаПлагин показывает дату, время, IP-адрес бота, его запросы к страницам и его название. Плагин после активации настройки не требует. В меню его не ищите, не найдёте. Проверяется его работа путём добавления к адресу сайта строчки /robots_log.txt, т.е. пишите в адресной строке - http://ваш-сайт.ru/robots_log.txt   и после этого должен открыть текстовый документ с побывавшими на сайте ботами.

У меня с одним сайтом плагин почему-то не сработал. После ввода запрашиваемого текстового документа отражалась страница сайта с надписью, что такой страницы не найдено. Переактивация плагина результатов не дало. Плагин удалил и установил заново, всё заработало.

Подождав некоторое время я открыл такие документы и действительно роботов было очень много. Оставил только основных роботов, а остальным заблокировал вход на сайт. Если кто-то не знает как это делается, то почитайте страницу "Как закрыть доступ на сайт нежелательным посетителям"

После блокировки ненужных роботов нагрузка от сайтов на сервер очень заметно снизилась. Так что плагином я очень доволен и претензий к нему нет.

 

 

Защита сайта от роботов обновлено: Апрель 10, 2017 автором: admin

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*