Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Технические вопросы > Веб-строительство

Ответ
 
Опции темы
Старый 01.05.2021, 10:10   #1
medexpert
Member
Аспирант
 
Аватар для medexpert
 
Регистрация: 21.06.2020
Сообщений: 87
Сказал(а) спасибо: 44
Получил(а) "Спасибо": 30
Нарушения: 0/0 (0)
Репутация: 111937

Thread Starter Вопросы по ботам

Добрый день.
Навалился Amazonbot/0.1 - но ведёт себя прилично - запрос в 1-2 секунды.
Есть от него какой-то толк?
"... Нет того веселья:
Или куришь натощак,
Или пьёшь с похмелья."
medexpert вне форума   Ответить с цитированием
Старый 01.05.2021, 12:26   #2
Rema
Senior Member
Профессор
 
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 508
Сказал(а) спасибо: 1,294
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 84889

По умолчанию Re: Вопросы по ботам

Цитата:
Сообщение от medexpert Посмотреть сообщение
Есть от него какой-то толк?
Если иметь в виду нагрузку на сервер - то да, очень большой толк. )
Таких гадов блокирую зонами.
За что себя люблю - за красоту и скромность.
Rema вне форума   Ответить с цитированием
Старый 15.05.2021, 23:02   #3
medexpert
Member
Аспирант
 
Аватар для medexpert
 
Регистрация: 21.06.2020
Сообщений: 87
Сказал(а) спасибо: 44
Получил(а) "Спасибо": 30
Нарушения: 0/0 (0)
Репутация: 111937

Thread Starter Re: Вопросы по ботам

На соседнем сайте выложили список ip ботов.
Причесал для себя - по данным 2ip.ru
Тут полный запрет... это каждый решает сам

Ваши дополнения.
#-------------------------------

<RequireAll>
Require all granted

# Metropolitan branch of OJSC MegaFon AS25159
# Москва
Require not ip 31.173.80.0/21

# Ural Branch of OJSC MegaFon GPRS/UMTS Network
# Екатеринбург
Require not ip 31.173.100.0/23 # было /24
Require not ip 83.169.216.0/24

# Beeline-Moscow GPRS Firewall
# Москва
Require not ip 83.220.236.0/22

# Caucasus Branch of OJSC MegaFon, Pool 5
# Краснодар
Require not ip 85.26.186.0/24 # сеть - 85.26.184.0/22

# Mobile subscribers pool - 0.mtsnet.ru
# Самара
Require not ip 85.140.0.0/21

# 111250 Russia SOVINTEL/EDN
# Москва
Require not ip 87.229.224.0/19 # сеть - Require not ip 87.229.224.0/24

# PJSC "VimpelCom"
# Москва
Require not ip 89.113.127.0/24 # сеть - 89.112.0.0/15
Require not ip 91.193.176.0/22 # было /23
Require not ip 91.193.178.0/22 # было /23

# YOTA - Moscow and Moskovskaya obl.
# Москва
Require not ip 94.25.168.0/21

# Tele2 Russia IP Network (MSK)
# Москва
Require not ip 176.59.32.0/19

# Metropolitan branch of OJSC MegaFon AS25159
# Москва
Require not ip 178.176.64.0/19

# Urals Branch of PJSC MegaFon 178.176.96.0/19
# Екатеринбург
Require not ip 178.176.96.0/19

# Caucasus Branch of PJSC MegaFon Fixed Broabband
# Краснодар
Require not ip 178.176.217.0/24

# Caucasus Branch of OJSC MegaFon, CGNAT Mobile Broadband
# Буденновск
Require not ip 185.3.32.0/23

# Caucasus Branch of OJSC MegaFon, CGNAT Mobile Broadband
# Краснодар
Require not ip 185.3.34.0/23

# North-West Branch of OJSC MegaFon Network
# Санкт-Петербург
Require not ip 188.170.72.0/21
Require not ip 188.170.80.0/20 # было /21
Require not ip 188.170.84.0/20 # было /22

# Не определен
# Ростов-на-Дону
Require not ip 188.170.192.0/23 # было /20

# Mobile subscribers pool
# Москва
Require not ip 213.87.128.0/19
Require not ip 213.87.160.0/22

# Firewall pool in Voronezh
# Воронеж
# было - Require not ip 217.118.95.96/28
Require not ip 217.118.95.0/28

</RequireAll>
medexpert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 15.05.2021, 23:05   #4
ziliboba0213
Позитив =)
Академик
 
Аватар для ziliboba0213
 
Регистрация: 21.06.2020
Адрес: Санкт-Петербург
Сообщений: 4,360
Сказал(а) спасибо: 24,594
Получил(а) "Спасибо": 13,412
Нарушения: 0/0 (0)
Репутация: 957405

По умолчанию Re: Вопросы по ботам

К сожалению, всех забанить - хтаксесса не хватит
ziliboba0213 вне форума   Ответить с цитированием
Старый 16.05.2021, 10:09   #5
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: Вопросы по ботам

Цитата:
Сообщение от ziliboba0213 Посмотреть сообщение
К сожалению, всех забанить - хтаксесса не хватит
Ну почему же не хватит, базовых долбоботов не так уж и много, всех их самыми первыми строками в .htaccess режем сразу:
Код:
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*spbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*exabot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*boitho.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*AspiegelBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*psbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Amazonbot*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*sogou.*"
RewriteRule ".*" "-" [F,L]
Состояние бота google и полезные ресурсы: всё про гугл
XPraptor вне форума   Ответить с цитированием
4 пользователя(ей) сказали cпасибо:
Старый 16.05.2021, 10:35   #6
Хаагенти
Резидент
Доцент
 
Аватар для Хаагенти
 
Регистрация: 01.07.2020
Адрес: Кавказ
Сообщений: 376
Сказал(а) спасибо: 4,141
Получил(а) "Спасибо": 4,827
Нарушения: 0/0 (0)
Репутация: 563331

По умолчанию Re: Вопросы по ботам

Цитата:
Сообщение от XPraptor Посмотреть сообщение
Ну почему же не хватит, базовых долбоботов не так уж и много, всех их самыми первыми строками в .htaccess режем сразу
Я только MJ12bot блокирую, остальные как-то не особо докучают
Хаагенти вне форума   Ответить с цитированием
Старый 16.05.2021, 12:02   #7
wss
Senior Member
Доцент
 
Аватар для wss
 
Регистрация: 22.06.2020
Сообщений: 267
Сказал(а) спасибо: 800
Получил(а) "Спасибо": 678
Нарушения: 0/0 (0)
Репутация: 3072

По умолчанию Re: Вопросы по ботам

medexpert, правильно, всех бото-накрутчиков ПФ в бан отправил
вот этих еще можешь добавить:
Код:
176.59.96.0/19 (176.59.96.0 - 176.59.127.255) Нижний Новгород Tele2 Russia IP Network (NIN)
188.170.64.0/19 (188.170.64.0 - 188.170.95.255) Санкт-Петербург North-West Branch of OJSC MegaFon Network
85.26.164.0/22 (85.26.164.0 - 85.26.167.255)  OJSC MSS-Povolzhe network - GPRS Access Pool No. 3
31.13.144.0/23 (31.13.144.0 - 31.13.145.255) Russian Federation - Mobile Core in Samara
109.124.192.0/19 (109.124.192.0 - 109.124.223.255) Russian Federation - SamaraLan BBS
93.170.124.0/24 (93.170.124.0 - 93.170.124.255)   Nadym Svyaz Servis Ltd (50916)
83.239.0.0/16 (83.239.0.0 - 83.239.255.255)   OJSC Rostelecom Macroregional Branch South

Последний раз редактировалось wss; 16.05.2021 в 12:26.
wss вне форума   Ответить с цитированием
Сказали спасибо:
Старый 16.05.2021, 12:56   #8
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: Вопросы по ботам

Цитата:
Сообщение от Хаагенти Посмотреть сообщение
Я только MJ12bot блокирую
Как по мне, так AspiegelBot самый долбобот, больше всего он посещает, даже мертвые сайты.
XPraptor вне форума   Ответить с цитированием
Сказали спасибо:
Старый 16.05.2021, 13:00   #9
medexpert
Member
Аспирант
 
Аватар для medexpert
 
Регистрация: 21.06.2020
Сообщений: 87
Сказал(а) спасибо: 44
Получил(а) "Спасибо": 30
Нарушения: 0/0 (0)
Репутация: 111937

Thread Starter Re: Вопросы по ботам

Цитата:
Сообщение от wss Посмотреть сообщение
medexpert, правильно, всех бото-накрутчиков ПФ в бан отправил
Не, я не баню, я всех проверяю.
medexpert вне форума   Ответить с цитированием
Старый 16.05.2021, 13:45   #10
юни
­
Доцент
 
Аватар для юни
 
Регистрация: 23.06.2020
Сообщений: 498
Сказал(а) спасибо: 77
Получил(а) "Спасибо": 1,986
Нарушения: 1/0 (0)
Репутация: 498178

По умолчанию Re: Вопросы по ботам

Цитата:
Сообщение от medexpert Посмотреть сообщение
Не, я не баню, я всех проверяю.
Как именно? В Вашей и wss инструкции перечислены подсети целиком, без каких-либо исключений.
1. Прокси-сервис на базе операторов домашнего интернета. Сотни тысяч IP-адресов, канал от 20 Мбит.
2. Безлимитный мобильный интернет за 249 р/мес. МТС/Билайн, без ограничений по всей РФ.
Пишите в личку или на [email protected]
юни вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Правовые вопросы julia_j17 Разносортица 159 14.03.2022 17:37
Вопросы по YouTube awasome РСЯ, Google AdSense и Youtube 36 03.07.2021 20:39
Вопросы по AMP-страницам sanek1991 Гугл и другие поисковики 14 11.04.2021 20:31
Вопросы по ВКонтакте (любые) Shivana Соцсети 16 02.02.2021 19:42


Текущее время: 15:27. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot