Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Поисковые системы, продвижение и оптимизация сайтов. > Гугл и другие поисковики

Гугл и другие поисковики Обсуждение поисковых систем.

Ответ
 
Опции темы
Старый 15.07.2021, 13:30   #1
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Petal Search - блочить или нет?

За последнее время ушел от темы сайтов, поэтому может всем известно кроме меня

На сайте поселился активный робот "Petal Search".
Стабильно забирает 10 - 20 страниц в минуту.

Вопрос:
Есть ли от него польза? Может заблокировать в robots.txt или по IP ?
sanek1991 вне форума   Ответить с цитированием
Старый 15.07.2021, 13:59   #2
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Re: Petal Search - блочить или нет?

И попутно вопрос - этот Petal Search может работать через PWA приложение?
На сайте статистика по PWA. Как-то делал посмотреть кто использует. Его робот как-бы через него сканирует и через обычные страницы. Фиг поймешь. Но с сайта не слазит.
sanek1991 вне форума   Ответить с цитированием
Старый 15.07.2021, 14:27   #3
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Re: Petal Search - блочить или нет?

На буржуйском форуме всё ответили - что и как.
По ходу серьезный поисковик. Есть своя консоль вебмастера
https://webmaster.petalsearch.com/
Статистика, отчеты, настройка робота, ...
Установил что-бы реже заходил.
В общем тема зарыта.
sanek1991 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Старый 21.01.2022, 07:10   #4
Ingvarr
Member
Студент
 
Регистрация: 21.06.2020
Сообщений: 41
Сказал(а) спасибо: 137
Получил(а) "Спасибо": 18
Нарушения: 0/0 (0)
Репутация: 230

По умолчанию Re: Petal Search - блочить или нет?

Цитата:
Сообщение от sanek1991 Посмотреть сообщение
Установил что-бы реже заходил.
Какие настройки там поставил? А то тоже стал часто заходить этот бот, пробовал в консоле вебмастера ограничивать, но ничего не изменилось.
Ingvarr вне форума   Ответить с цитированием
Старый 21.01.2022, 09:18   #5
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Re: Petal Search - блочить или нет?

Цитата:
Сообщение от Ingvarr Посмотреть сообщение
Какие настройки там поставил? А то тоже стал часто заходить этот бот, пробовал в консоле вебмастера ограничивать, но ничего не изменилось.
Глянул сейчас, поставил 1 раз в минуту, он сейчас у меня почему-то заходит через день.
А так вобщем-то почти весь сайт обошел, пишет в индексе 375К страниц.
Тип файла: jpg 18.jpg (116.2 Кб, 1 просмотров)
Тип файла: jpg 19.jpg (32.4 Кб, 63 просмотров)
sanek1991 вне форума   Ответить с цитированием
Старый 21.01.2022, 16:36   #6
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Re: Petal Search - блочить или нет?

Там еще время для сканирования нужно выставлять - в какие часы сканировать.
И еще Effective Data - насколько я понял, это время действия твоих установок. Может оно у тебя закончилось. Я на несколько лет поставил.
sanek1991 вне форума   Ответить с цитированием
Старый 21.01.2022, 20:13   #7
Ingvarr
Member
Студент
 
Регистрация: 21.06.2020
Сообщений: 41
Сказал(а) спасибо: 137
Получил(а) "Спасибо": 18
Нарушения: 0/0 (0)
Репутация: 230

По умолчанию Re: Petal Search - блочить или нет?

Цитата:
Сообщение от sanek1991 Посмотреть сообщение
Там еще время для сканирования нужно выставлять - в какие часы сканировать.
я поставил, но он 24 часа сидит на моем сайте
Ingvarr вне форума   Ответить с цитированием
Старый 21.01.2022, 20:13   #8
Ingvarr
Member
Студент
 
Регистрация: 21.06.2020
Сообщений: 41
Сказал(а) спасибо: 137
Получил(а) "Спасибо": 18
Нарушения: 0/0 (0)
Репутация: 230

По умолчанию Re: Petal Search - блочить или нет?

Цитата:
Сообщение от sanek1991 Посмотреть сообщение
И еще Effective Data - насколько я понял, это время действия твоих установок. Может оно у тебя закончилось. Я на несколько лет поставил.
сделай скрин своих настроек, а то я наверное что-то там неправильно поставил
Ingvarr вне форума   Ответить с цитированием
Старый 22.01.2022, 20:19   #9
Ingvarr
Member
Студент
 
Регистрация: 21.06.2020
Сообщений: 41
Сказал(а) спасибо: 137
Получил(а) "Спасибо": 18
Нарушения: 0/0 (0)
Репутация: 230

По умолчанию Re: Petal Search - блочить или нет?

Цитата:
Сообщение от sanek1991 Посмотреть сообщение
И еще Effective Data - насколько я понял, это время действия твоих установок.
Вот в этом видимо была ошибка моя. Я там поставил на 1 день - на день установки. Это было по умолчанию.
Ingvarr вне форума   Ответить с цитированием
Старый 23.01.2022, 11:19   #10
sanek1991
Senior Member
Профессор
 
Регистрация: 21.06.2020
Сообщений: 859
Сказал(а) спасибо: 80
Получил(а) "Спасибо": 187
Нарушения: 0/0 (0)
Репутация: 74780

Thread Starter Re: Petal Search - блочить или нет?

Цитата:
Сообщение от Ingvarr Посмотреть сообщение
сделай скрин своих настроек, а то я наверное что-то там неправильно поставил
Сейчас он у меня почти отключен, потому что он уже практически весь сайт усосал, после чего я его сильно ограничил.
На данный момент получилось всего 100 - 200 заходов в сутки
Трафика от туда очень мало.
Тип файла: jpg 18.jpg (77.3 Кб, 23 просмотров)
sanek1991 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Google Search Console Vladimir Гугл и другие поисковики 9 13.09.2021 07:12
Search Console Insights beta Diversant Гугл и другие поисковики 4 05.07.2021 09:40
Google search console: Отчёт работа страниц ziliboba0213 Гугл и другие поисковики 15 20.04.2021 19:43
Google собирает всех на Search On - расскажут об улучшении поиска XPraptor Гугл и другие поисковики 30 20.10.2020 22:31
Google search console не добавляет урл на индексацию. Глючит опять? ziliboba0213 Гугл и другие поисковики 6 01.08.2020 01:52


Текущее время: 18:30. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot