Запрет доступа

[Sitealert]

Сообщение от Rema

А если страница формируется "на лету"

Есть адрес страницы (URL). При заходе по этому адресу исполняется весь код PHP (или пайтон, или что-то ещё, что запрограммировано на сервере). Переходы по ссылкам, имеющимся на странице и дополнительные запросы по имеющимся на странице URL происходят в зависимости от того, как запрограммирован бот.

[Rema]

Coder, мысль мелькнула.

Вспомнила, что на одном из сайтов имеется автоматическая блокировка ботов, которые ломятся регистрироваться. В первые полгода блокировались постоянно - чуть ли не каждый день и не по одному, там набрался огроменный список.

Посещаемость была почти нулевая, поскольку я только начинала разбираться в системе, и сайт был по сути голый. Но при этом нагрузка какая-то ненормальная. Обратилась в техподдержку.

Посмотрели и сказали, что на самом деле неоткуда ей взяться. Стали разбираться, и я сообщила про этот список автоблокировок. Мне объяснили, что автоблокировки хороши только как костыль на время. Потому что когда кто-то из заблокированных продолжает ломиться на сайт, блокировка проиcходит на уровне сайта, а не на уровне сервера (как в случае htaccess).

Я стала чистить тот список, проверяла каждый IP, часть просто удаляла, часть блокировала в htaccess, и на самом деле нагрузка вернулась к минималке. Так что теперь свежезаблоченных проверяю, чтобы там не оставлять.

Собственно, вопрос. Этот скрипт блокирует на уровне сайта или на уровне сервера?

На форуме у меня нет автоблокировки, поэтому там уже без разницы: на каком уровне. А вот для сайта, который любят парсить, момент существенный. Хотя в любом случае мониторить список от скрипта легче, чем ломать глаза, просматривая логи (меня ужас охватывает при одной мысли).

[ziliboba0213]

Сделать файл с wp login и прочими популярными логинфайлам, а там ловить ботов и всех их банить На самописе имхо норм будет?

[Coder]

Сообщение от Rema

[b]
Собственно, вопрос. Этот скрипт блокирует на уровне сайта или на уровне сервера?

На уровне сайта - но тут возможная проблема зависит от реализации - то, что у Вас получилось, скорее всего, где-то именно из-за этого.

А теперь представьте htaccess, с сотнями и тысячами блокированных ip - наверное, большой и перегруженный htaccess не есть хорошо.

При этом, большинство ip динамических, и использовались для хулиганств один раз, и далее уже даются вполне добропорядочным посетителям - если утрировать, то в конце концов получится вполне ощутимый минус для сайта.
Как контролировать и гибко управлять этим в htaccess? - Можно, но не совсем просто - нужны дополнительные инструменты.

А в скрипте можно все очищать раз в неделю, например - опять попадут только злостные хулиганы и ресурсы для отлупа будут затрачены минимальные.

Ну, это просто мое мнение.

[Coder]

Сообщение от Rema

На форуме у меня нет автоблокировки, поэтому там уже без разницы: на каком уровне. А вот для сайта, который любят парсить, момент существенный. Хотя в любом случае мониторить список от скрипта легче, чем ломать глаза, просматривая логи (меня ужас охватывает при одной мысли).

Забыл - не надо будет мониторить - ставите по крону очистку списка на нужный интервал (на неделю, на две и тд) и забываете о проблеме вообще - при таком решении парсить сайт бесполезно - красота, в общем.

И список за неделю/две большим не будет относительно - в одном файле 10-12 тыс. ip спокойно можно хранить, без ущерба для производительности, и можно ещё кое-что доделать по анализу и прочему на автомате - можно и в связке с htaccess - ну, тут можно попридумывать.

[Rema]

Сообщение от Coder

А теперь представьте htaccess, с сотнями и тысячами блокированных ip

Не, у меня в среднем 600-1000 строк, сотен тысяч айпи точно нет.

Динамических - от провайдеров - очень мало, они сразу видны, я их часто проверяю на вредность, и если в базах уже нет, удаляю.

В основном хостинги, оттуда люди не ходят. А также Китай и прочие источники агрессивного бото-трафика.

Спасибо за помощь и разъяснения. Увы, не даёт пока добавить в репутацию