Запрет доступа

[Rema]

Сообщение от svv

С США надо поаккуратнее, т.к. там могут быть боты Гугла.

Все подозрительные IP проверяю на сервисе CleanTalk: https://cleantalk.org/blacklists
Действительно иногда бывает, что вроде бот - а у него Google прописан, и непонятно, что делать.

[Rema]

Спамит бот VelenPublicWebCrawler/1.0 с IP 35.206.189.245 - за пару часов 6 тысяч входов.
Причем про этот IP вот такое забавное написано:

========================
Network 35.206.128.0/18parent network: 35.206.0.0/15
DNS name 245.189.206.35.bc.googleusercontent.com
AS number 19527
Org name GOOGLE-2, US
Country United States
Address -
Phone -
Website google.com
Spam rate 5.26%
Purpose of use Hosting
========================

А раз так, то вряд ли блокировка по юзер-агенту в данном случае поможет. Конечно, блоканула его и так, и по IP. По группе пока не решилась.

И ещё жестко парсит с IP 116.202. Обнаружила, когда стала проверять, почему нагрузка сильно возросла.
Если у кого он сидит, дам список IP для блокировки.

[ziliboba0213]

Сообщение от Rema

Если у кого он сидит, дам список IP для блокировки.

А у вас есть полный код всего, что вы забанили в thaccess? Чтобы там случайно никакую рекламу не забанить А то я в этом не силён

[Coder]

Сообщение от Rema

за пару часов 6 тысяч входов.

ip может и меняться - а вот от наглого наседания и создания нагрузки можно такое примерно, плюс можно автобан по количеству повторений на какое-то время ставить, ну, или совсем:

Защита сайта от слишком частого обращения http://coderhs.com/archive/defens_ddos

*Пару часов ~6000 - это ~50 в минуту или почти каждую секунду - легко настроить, с перекрытием.

ПС - тема уже где-то тут обсуждалась.

[XPraptor]

Сообщение от Rema

Действительно иногда бывает, что вроде бот - а у него Google прописан, и непонятно, что делать.

Гугл если подписывает бота google то и обратный ptr у него google обязательно резолвится.
А те хитроботы, что гугл посылает детектить хитрых вм-ов, они не подписываются гуглом.
Так, что проверяйте обратную птр запись и если там не гугл - то в топку.

[Rema]

Сообщение от ziliboba0213

А у вас есть полный код всего, что вы забанили в thaccess? Чтобы там случайно никакую рекламу не забанит

Не уверена, что для любого хостинга подходит. Выглядит в файле htaccess так (для этих конкретных ботов):

order allow,deny
deny from 46.4.0.0/16 46.4.77.121
deny from 35.206.189.245
deny from 116.202.0.0/16 116.202.48.0/22 116.202.116.0/22 116.202.224.0/24 116.202.228.0/24 116.202.229.0/24 116.202.232.0/22 116.202.236.0/22
allow from all

Туда можно добавлять любые айпи и группы, чтобы начиналось с "deny from".
Перед правкой файла необходимо скопировать содержание текущего файла .htaccess - у меня однажды вкралась ошибка, сайт перестал отображаться. За секунду вернула старый файл и спокойно стала проверять новый.

[Rema]

Сообщение от Coder

ip может и меняться - а вот от наглого наседания и создания нагрузки можно такое примерно, плюс можно автобан по количеству повторений на какое-то время ставить, ну, или совсем:

Ой, я что-то опасаюсь делать то, что не понимаю. (краснеющий смайл)
Спрошу у техподдержки насчет этого скрипта.

Если происходит обращение к страницам сайта с интервалом менее двух секунд, то в результате вместо обновленной странички появится надпись "Нельзя обращаться к сайту чаще, чем 1 раз в две секунды!".

"Мои" боты не утруждают себя заходить на сайт, тянут прямо с сервера. То есть они отображаются только в логах, на посещаемость это никак не влияет.

Правда, я не понимаю, как можно стянуть страницы, их ведь физически нет.

[Coder]

Полезно:

http://httpd.apache.org/docs/2.2/mod...ost.html#order

[ziliboba0213]

Сообщение от Rema

Не уверена, что для любого хостинга подходит. Выглядит в файле htaccess так (для этих конкретных ботов):

order allow,deny
deny from 46.4.0.0/16 46.4.77.121
deny from 35.206.189.245
deny from 116.202.0.0/16 116.202.48.0/22 116.202.116.0/22 116.202.224.0/24 116.202.228.0/24 116.202.229.0/24 116.202.232.0/22 116.202.236.0/22
allow from all

Туда можно добавлять любые айпи и группы, чтобы начиналось с "deny from".
Перед правкой файла необходимо скопировать содержание текущего файла .htaccess - у меня однажды вкралась ошибка, сайт перестал отображаться. За секунду вернула старый файл и спокойно стала проверять новый.

Не, я вообще про все ip которые вы забанили

[Rema]

Сообщение от ziliboba0213

Не, я вообще про все ip которые вы забанили

Их много, очень. Разве что личкой частями.

(я смущаюсь, когда на "вы")