![]() |
![]() |
#41 |
Слесарь-сайтосборщик
Доцент
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645
|
![]()
Есть адрес страницы (URL). При заходе по этому адресу исполняется весь код PHP (или пайтон, или что-то ещё, что запрограммировано на сервере). Переходы по ссылкам, имеющимся на странице и дополнительные запросы по имеющимся на странице URL происходят в зависимости от того, как запрограммирован бот.
|
![]() |
![]() |
Сказали спасибо: |
![]() |
#42 |
Senior Member
Профессор
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 513
Сказал(а) спасибо: 1,296
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 84889
|
![]()
Coder, мысль мелькнула.
Вспомнила, что на одном из сайтов имеется автоматическая блокировка ботов, которые ломятся регистрироваться. В первые полгода блокировались постоянно - чуть ли не каждый день и не по одному, там набрался огроменный список. Посещаемость была почти нулевая, поскольку я только начинала разбираться в системе, и сайт был по сути голый. Но при этом нагрузка какая-то ненормальная. Обратилась в техподдержку. Посмотрели и сказали, что на самом деле неоткуда ей взяться. Стали разбираться, и я сообщила про этот список автоблокировок. Мне объяснили, что автоблокировки хороши только как костыль на время. Потому что когда кто-то из заблокированных продолжает ломиться на сайт, блокировка проиcходит на уровне сайта, а не на уровне сервера (как в случае htaccess). Я стала чистить тот список, проверяла каждый IP, часть просто удаляла, часть блокировала в htaccess, и на самом деле нагрузка вернулась к минималке. Так что теперь свежезаблоченных проверяю, чтобы там не оставлять. Собственно, вопрос. Этот скрипт блокирует на уровне сайта или на уровне сервера? На форуме у меня нет автоблокировки, поэтому там уже без разницы: на каком уровне. А вот для сайта, который любят парсить, момент существенный. Хотя в любом случае мониторить список от скрипта легче, чем ломать глаза, просматривая логи (меня ужас охватывает при одной мысли). |
![]() |
![]() |
Сказали спасибо: |
![]() |
#43 |
Позитив =)
Академик
Регистрация: 21.06.2020
Адрес: Санкт-Петербург
Сообщений: 4,368
Сказал(а) спасибо: 24,684
Получил(а) "Спасибо": 13,503
Нарушения: 0/0 (0)
Репутация: 1158348
|
![]()
Сделать файл с wp login и прочими популярными логинфайлам, а там ловить ботов и всех их банить
![]() ![]() |
![]() |
![]() |
![]() |
#44 | |
Senior Member
Доцент
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
|
![]() Цитата:
А теперь представьте htaccess, с сотнями и тысячами блокированных ip - наверное, большой и перегруженный htaccess не есть хорошо. При этом, большинство ip динамических, и использовались для хулиганств один раз, и далее уже даются вполне добропорядочным посетителям - если утрировать, то в конце концов получится вполне ощутимый минус для сайта. Как контролировать и гибко управлять этим в htaccess? - Можно, но не совсем просто - нужны дополнительные инструменты. А в скрипте можно все очищать раз в неделю, например - опять попадут только злостные хулиганы и ресурсы для отлупа будут затрачены минимальные. Ну, это просто мое мнение. |
|
![]() |
![]() |
![]() |
#45 | |
Senior Member
Доцент
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
|
![]() Цитата:
И список за неделю/две большим не будет относительно - в одном файле 10-12 тыс. ip спокойно можно хранить, без ущерба для производительности, и можно ещё кое-что доделать по анализу и прочему на автомате - можно и в связке с htaccess - ну, тут можно попридумывать. |
|
![]() |
![]() |
![]() |
#46 |
Senior Member
Профессор
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 513
Сказал(а) спасибо: 1,296
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 84889
|
![]()
Не, у меня в среднем 600-1000 строк, сотен тысяч айпи точно нет.
![]() Динамических - от провайдеров - очень мало, они сразу видны, я их часто проверяю на вредность, и если в базах уже нет, удаляю. В основном хостинги, оттуда люди не ходят. А также Китай и прочие источники агрессивного бото-трафика. Спасибо за помощь и разъяснения. Увы, не даёт пока добавить в репутацию |
![]() |
![]() |
2 пользователя(ей) сказали cпасибо: |