Странное сочетание ip и user agenta - Форум об интернет-маркетинге

Nopassw0rd · 12.10.2020, 14:34

В логах наблюдаю странную картину. Есть заходы с провайдера EVO Волгоград. Имя user agenta "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html" (официальный гугловский бот). Не понимаю, что это и зачем. Если подменяют имя, то зачем так палевно? Ботает по разным адресам, не сказать, что усиленно, так по чуть чуть. В чем может быть смысл данной операции?

Sitealert · 12.10.2020, 14:37

Цитата:

Сообщение от Nopassw0rd

В чем может быть смысл данной операции?

Чтоб не забанили.

Coder · 12.10.2020, 14:40

Нормальные парсеры дают возможность представляться по разному - комильфо в парсинге, как бы.

Nopassw0rd · 12.10.2020, 14:48

Цитата:

Сообщение от Coder

Нормальные парсеры дают возможность представляться по разному - комильфо в парсинге, как бы.

Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать. Порядка одной страницы в 5-10 минут, а то и реже.

Chikk · 12.10.2020, 14:50

Цитата:

Сообщение от Nopassw0rd

Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать. Порядка одной страницы в 5-10 минут, а то и реже.

Это пока предварительные ласки. Настройка парсера.

Coder · 12.10.2020, 14:58

Цитата:

Сообщение от Nopassw0rd

Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать.

На автомате и целевые, им нужные. Могут вообще не парсить, а отслеживать изменения нужных страниц/материалов, и парсить по изменению. По логам можно многое узнать, при желании.

Nopassw0rd · 12.10.2020, 15:00

Цитата:

Сообщение от Chikk

Это пока предварительные ласки. Настройка парсера.

Смысл парсинга этого сайта крайне противоречив, половина контента php страницы, что они там напарсят? Ну естественно для доров контент с обычных html.

Sitealert · 12.10.2020, 15:01

Цитата:

Сообщение от Nopassw0rd

половина контента php страницы, что они там напарсят?

Контент...

Chikk · 12.10.2020, 15:07

Цитата:

Сообщение от Nopassw0rd

Смысл парсинга этого сайта крайне противоречив, половина контента php страницы, что они там напарсят?

Не могу знать. Но, согласись, теория с настройкой вполне себе рабочая. Может и иное быть - проксирование, если не совсем в лоб, то можно и агентов понаменять, и IP запроса сделать постоянным... Ну, опять же, в теории.

Rema · 12.10.2020, 19:59

Цитата:

Сообщение от Nopassw0rd

В чем может быть смысл данной операции?

Чтобы по юзер-агенту не блокировали. И боялись блочить всю группу.

12.10.2020, 14:34	#1
Nopassw0rd Member Аспирант Регистрация: 22.06.2020 Сообщений: 92 Сказал(а) спасибо: 252 Получил(а) "Спасибо": 184 Нарушения: 0/0 (0) Репутация: 37246	Странное сочетание ip и user agenta В логах наблюдаю странную картину. Есть заходы с провайдера EVO Волгоград. Имя user agenta "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html" (официальный гугловский бот). Не понимаю, что это и зачем. Если подменяют имя, то зачем так палевно? Ботает по разным адресам, не сказать, что усиленно, так по чуть чуть. В чем может быть смысл данной операции?

12.10.2020, 14:40	#3
Coder Senior Member Доцент Регистрация: 25.07.2020 Сообщений: 437 Сказал(а) спасибо: 486 Получил(а) "Спасибо": 712 Нарушения: 0/0 (0) Репутация: 7417	Re: Странное сочетание ip и user agenta Нормальные парсеры дают возможность представляться по разному - комильфо в парсинге, как бы.