Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Технические вопросы > Веб-строительство

Ответ
 
Опции темы
Старый 12.10.2020, 14:34   #1
Nopassw0rd
Member
Аспирант
 
Аватар для Nopassw0rd
 
Регистрация: 22.06.2020
Сообщений: 92
Сказал(а) спасибо: 252
Получил(а) "Спасибо": 184
Нарушения: 0/0 (0)
Репутация: 37246

Thread Starter Странное сочетание ip и user agenta

В логах наблюдаю странную картину. Есть заходы с провайдера EVO Волгоград. Имя user agenta "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html" (официальный гугловский бот). Не понимаю, что это и зачем. Если подменяют имя, то зачем так палевно? Ботает по разным адресам, не сказать, что усиленно, так по чуть чуть. В чем может быть смысл данной операции?
Nopassw0rd вне форума   Ответить с цитированием
Старый 12.10.2020, 14:37   #2
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
В чем может быть смысл данной операции?
Чтоб не забанили.
Sitealert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 14:40   #3
Coder
Senior Member
Доцент
 
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
Отправить сообщение для Coder с помощью ICQ

По умолчанию Re: Странное сочетание ip и user agenta

Нормальные парсеры дают возможность представляться по разному - комильфо в парсинге, как бы.
Coder вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 14:48   #4
Nopassw0rd
Member
Аспирант
 
Аватар для Nopassw0rd
 
Регистрация: 22.06.2020
Сообщений: 92
Сказал(а) спасибо: 252
Получил(а) "Спасибо": 184
Нарушения: 0/0 (0)
Репутация: 37246

Thread Starter Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Coder Посмотреть сообщение
Нормальные парсеры дают возможность представляться по разному - комильфо в парсинге, как бы.
Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать. Порядка одной страницы в 5-10 минут, а то и реже.
Nopassw0rd вне форума   Ответить с цитированием
Старый 12.10.2020, 14:50   #5
Chikk
[censored]
Академик
 
Регистрация: 24.06.2020
Адрес: Катманду
Сообщений: 1,135
Сказал(а) спасибо: 1,031
Получил(а) "Спасибо": 1,835
Нарушения: 0/0 (0)
Репутация: 40829
Отправить сообщение для Chikk с помощью ICQ

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать. Порядка одной страницы в 5-10 минут, а то и реже.
Это пока предварительные ласки. Настройка парсера.
Chikk вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 14:58   #6
Coder
Senior Member
Доцент
 
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
Отправить сообщение для Coder с помощью ICQ

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
Так в том то и дело, что с такой скоростью парсинга они сайт будут пару лет обрабатывать.
На автомате и целевые, им нужные. Могут вообще не парсить, а отслеживать изменения нужных страниц/материалов, и парсить по изменению. По логам можно многое узнать, при желании.
Coder вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 15:00   #7
Nopassw0rd
Member
Аспирант
 
Аватар для Nopassw0rd
 
Регистрация: 22.06.2020
Сообщений: 92
Сказал(а) спасибо: 252
Получил(а) "Спасибо": 184
Нарушения: 0/0 (0)
Репутация: 37246

Thread Starter Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Chikk Посмотреть сообщение
Это пока предварительные ласки. Настройка парсера.
Смысл парсинга этого сайта крайне противоречив, половина контента php страницы, что они там напарсят? Ну естественно для доров контент с обычных html.
Nopassw0rd вне форума   Ответить с цитированием
Старый 12.10.2020, 15:01   #8
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
половина контента php страницы, что они там напарсят?
Контент...
Sitealert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 15:07   #9
Chikk
[censored]
Академик
 
Регистрация: 24.06.2020
Адрес: Катманду
Сообщений: 1,135
Сказал(а) спасибо: 1,031
Получил(а) "Спасибо": 1,835
Нарушения: 0/0 (0)
Репутация: 40829
Отправить сообщение для Chikk с помощью ICQ

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
Смысл парсинга этого сайта крайне противоречив, половина контента php страницы, что они там напарсят?
Не могу знать. Но, согласись, теория с настройкой вполне себе рабочая. Может и иное быть - проксирование, если не совсем в лоб, то можно и агентов понаменять, и IP запроса сделать постоянным... Ну, опять же, в теории.
Chikk вне форума   Ответить с цитированием
Сказали спасибо:
Старый 12.10.2020, 19:59   #10
Rema
Senior Member
Профессор
 
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 508
Сказал(а) спасибо: 1,294
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 84889

По умолчанию Re: Странное сочетание ip и user agenta

Цитата:
Сообщение от Nopassw0rd Посмотреть сообщение
В чем может быть смысл данной операции?
Чтобы по юзер-агенту не блокировали. И боялись блочить всю группу.
За что себя люблю - за красоту и скромность.
Rema вне форума   Ответить с цитированием
Сказали спасибо:
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 09:11. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot