19.11.2020, 09:26 | #1 |
Member
Аспирант
Регистрация: 24.06.2020
Сообщений: 97
Сказал(а) спасибо: 5
Получил(а) "Спасибо": 38
Нарушения: 0/0 (0)
Репутация: 80159
|
Забвение сайта
Как скоро после установки директивы "Disallow: / " в robots и отдачи всеми страницами 404й ошибки Яндекс забудет содержимое сайта, чтобы при растаскивании текстов с него на другие сайты он не помнил, что исходным источником был удаленный сайт? По запросу "host:site.ru" он уже через сутки ничего не показывает, но в вэбмастере видно, что страницы еще в базе.
|
19.11.2020, 10:18 | #2 |
Senior Member
Доцент
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
|
Re: Забвение сайта
Для каждого сайта есть свой лимит обхода роботом - когда все обойдёт и внесет изменения - полгода и до года - если говорим о всем сайте - и пока не очистится кэш ПС.
Можно ускорить через переобход или отдельных страниц, или самого роботса - переобход отдельных предпочтительней. А вообще закрывать от индекса сайт надо бы не через файл роботс - можно закрыть сайт или заданную страницу от индексации с помощь мета-тега robots. Этот способ является предпочтительным и с большим приоритетом выполняется пауками поисковых систем. |
Сказали спасибо: |
23.12.2020, 20:05 | #3 |
Member
Аспирант
Регистрация: 24.06.2020
Сообщений: 97
Сказал(а) спасибо: 5
Получил(а) "Спасибо": 38
Нарушения: 0/0 (0)
Репутация: 80159
|
Re: Забвение сайта
Ровно через месяц сайт полностью вылетел.
|
23.12.2020, 20:14 | #4 |
Позитив =)
Академик
Регистрация: 21.06.2020
Адрес: Санкт-Петербург
Сообщений: 4,368
Сказал(а) спасибо: 24,688
Получил(а) "Спасибо": 13,503
Нарушения: 0/0 (0)
Репутация: 1158348
|
Re: Забвение сайта
Офтоп. Я вешаю "403 доступ запрещен"
|
23.12.2020, 22:15 | #5 |
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: Забвение сайта
svv, отдавайте 410, что сайт удален, тогда все быстрее будет.
|
23.12.2020, 22:24 | #6 |
Member
Аспирант
Регистрация: 21.06.2020
Сообщений: 87
Сказал(а) спасибо: 44
Получил(а) "Спасибо": 30
Нарушения: 0/0 (0)
Репутация: 111937
|
Re: Забвение сайта
Яндекс живёт 3-х месячными циклами - счетчик метрики, после снятия, можно восстановить три месяца, три месяца помнит историю таксиста...
Я бы подождал, после полного очищения базы, ещё три месяца. |
24.12.2020, 22:22 | #7 |
Senior Member
Доцент
Регистрация: 21.07.2020
Сообщений: 223
Сказал(а) спасибо: 3
Получил(а) "Спасибо": 146
Нарушения: 0/0 (0)
Репутация: 90255
|
Re: Забвение сайта
Самый быстрый способ, чтобы Яндекс выкинул из индекса - отдавать неверную rel="canonical" для каждой страницы.
|
25.12.2020, 12:00 | #8 |
Senior Member
Профессор
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 513
Сказал(а) спасибо: 1,296
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 84889
|
Re: Забвение сайта
Яндекс до сих пор ходит на страницы, удалённые в 2013-2014 гг.
Вернее, там были изменены урлы, и для несущественных страниц я не ставила редиректы. Порой вижу в журнале, что онЕ заходили, а там - ай! - 404 ошибка. Откуда он берет эти урлы, ума не приложу. |