Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Поисковые системы, продвижение и оптимизация сайтов. > Продвижение и оптимизация сайтов

Продвижение и оптимизация сайтов Обсуждаем вопросы оптимизации, поведенческие факторы. Услуги - в разделе "Коммерческие объявления" ->"Биржа услуг"

Ответ
 
Опции темы
Старый 24.06.2020, 01:48   #1
CrazyBug
Администратор
Аспирант
 
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108

Thread Starter robots.txt как и зачем

Вопросы по файлу robots.txt для облегчения поиска нужной информации создаётся отдельный топик,
где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt,
отвечающего за ограничение доступа к содержимому сайта поисковым роботам.

Правда роботы его могут игнорировать в ряде случаев т.к. это лишь рекомендация и не более того.
Справка яндекса Инструмент проверки
Справка гугл Инструмент проверки

Используйте запреты в robots.txt с большой осторожностью и пониманием того чего вы желаете получить в результате конкретного запрета
CrazyBug вне форума   Ответить с цитированием
Старый 24.06.2020, 02:12   #2
Mishka
Senior Member
Доцент
 
Аватар для Mishka
 
Регистрация: 21.06.2020
Сообщений: 229
Сказал(а) спасибо: 571
Получил(а) "Спасибо": 3,034
Нарушения: 0/1 (3)
Репутация: -19113

По умолчанию Re: robots.txt как и зачем

Цитата:
Сообщение от CrazyBug Посмотреть сообщение
где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt,
Disallow: /feeds/
Allow: /feeds/google-news.xml

Такая конструкция будет прочтена правильно новостным роботом Гугла?
Фид в индексе?
Mishka вне форума   Ответить с цитированием
Старый 24.06.2020, 10:48   #3
CrazyBug
Администратор
Аспирант
 
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108

Thread Starter Re: robots.txt как и зачем

Mishka, конструкция правильная, для робота нет запрета, а вот про индекс ничего сказать не смогу, чего там только не бывает (в индексе)
CrazyBug вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Старый 24.06.2020, 14:49   #4
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: robots.txt как и зачем

Цитата:
Сообщение от Mishka Посмотреть сообщение
Disallow: /feeds/
Allow: /feeds/google-news.xml
Я бы не рисковал с такими конструкциями. Это сейчас они, совсем недавно, ввели просмотр всех инструкций, а раньше-то, дошло бы до disallow и давай-досвидания.

А кто его знает когда программерам взбредет в голову (или случайно забудут и исправят) снова включить просмотр до первой инструкции найденной.

Как было с mod_rewrit-ом не раз уже. То включают просмотр всех инструкций, то стоп на первой найденной, потом опять возвращают проход по всем инструкциям.
Так, что лучше все-таки disallow в конец писать.
XPraptor вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Старый 24.06.2020, 15:43   #5
CrazyBug
Администратор
Аспирант
 
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108

Thread Starter Re: robots.txt как и зачем

Цитата:
Сообщение от XPraptor Посмотреть сообщение
ак, что лучше все-таки disallow в конец писать.
Цитата:
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.
Цитата:
При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
как-то так
CrazyBug вне форума   Ответить с цитированием
Сказали спасибо:
Старый 24.06.2020, 15:59   #6
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: robots.txt как и зачем

CrazyBug, именно об этом и говорим. А в любой момент программеры могут забыть об этом в апе каком-нить, а штатная работа парсера правил - первый найденный. Могут в любой момент забыть, и приехали, гадаем чего сайт из индекса ушел весь .

Вообще такие конструкции на сайте лучше не делать - либо у тебя папка к запрету, либо к разрешению, а мешать контент в одной папке - это моветон.
XPraptor вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Старый 29.06.2020, 09:03   #7
Rus
Junior Member
Абитуриент
 
Регистрация: 29.06.2020
Сообщений: 8
Сказал(а) спасибо: 7
Получил(а) "Спасибо": 3
Нарушения: 0/0 (0)
Репутация: 10

По умолчанию Re: robots.txt как и зачем

Не добавляю robots.txt вообще. Так ли он важен для продвижения сайта?
Rus вне форума   Ответить с цитированием
Старый 29.06.2020, 15:18   #8
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: robots.txt как и зачем

Rus, нет, не важен.
XPraptor вне форума   Ответить с цитированием
Старый 29.06.2020, 15:24   #9
CrazyBug
Администратор
Аспирант
 
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108

Thread Starter Re: robots.txt как и зачем

Цитата:
Сообщение от XPraptor Посмотреть сообщение
А в любой момент программеры могут забыть об этом в апе каком-нить
хоть один подобный пример был?

а вот просто косяки на стороне сервера - это постоянно, особенно когда начинают включать кеширование и сжатие появляются дефолтные служебные файлы, типа роботса, карты сайта...



Цитата:
Сообщение от XPraptor Посмотреть сообщение
Вообще такие конструкции на сайте лучше не делать - либо у тебя папка к запрету, либо к разрешению, а мешать контент в одной папке - это моветон.
это как раз вполне рабочие конструкции, особенно для больших сайтов
или вот вам простой пример
Disallow: /search/
Allow: /search/*tovar=
CrazyBug вне форума   Ответить с цитированием
Старый 29.06.2020, 15:39   #10
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: robots.txt как и зачем

Цитата:
Сообщение от CrazyBug Посмотреть сообщение
хоть один подобный пример был?
Я же говорю - в mod_rewrite через раз забывали.
Ничто не помешает молокососам из гугла забыть тоже.

Цитата:
Сообщение от CrazyBug Посмотреть сообщение
Disallow: /search/
Allow: /search/*tovar=
Спрашивается, нах..а?
Чем tovar в поиске, так уж нужнее к индексации, чем всё остальное в поиске (за что кстати и пессимайз получить можно, если не закрыть слова search к индексу)
XPraptor вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 16:12. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot