robots.txt как и зачем

[CrazyBug]

Вопросы по файлу robots.txt для облегчения поиска нужной информации создаётся отдельный топик,
где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt,
отвечающего за ограничение доступа к содержимому сайта поисковым роботам.

Правда роботы его могут игнорировать в ряде случаев т.к. это лишь рекомендация и не более того.
Справка яндекса Инструмент проверки
Справка гугл Инструмент проверки

Используйте запреты в robots.txt с большой осторожностью и пониманием того чего вы желаете получить в результате конкретного запрета

[Mishka]

Сообщение от CrazyBug

где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt,

Disallow: /feeds/
Allow: /feeds/google-news.xml

Такая конструкция будет прочтена правильно новостным роботом Гугла?
Фид в индексе?

[CrazyBug]

Mishka, конструкция правильная, для робота нет запрета, а вот про индекс ничего сказать не смогу, чего там только не бывает (в индексе)

[XPraptor]

Сообщение от Mishka

Disallow: /feeds/
Allow: /feeds/google-news.xml

Я бы не рисковал с такими конструкциями. Это сейчас они, совсем недавно, ввели просмотр всех инструкций, а раньше-то, дошло бы до disallow и давай-досвидания.

А кто его знает когда программерам взбредет в голову (или случайно забудут и исправят) снова включить просмотр до первой инструкции найденной.

Как было с mod_rewrit-ом не раз уже. То включают просмотр всех инструкций, то стоп на первой найденной, потом опять возвращают проход по всем инструкциям.
Так, что лучше все-таки disallow в конец писать.

[CrazyBug]

Сообщение от XPraptor

ак, что лучше все-таки disallow в конец писать.

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

как-то так

[XPraptor]

CrazyBug, именно об этом и говорим. А в любой момент программеры могут забыть об этом в апе каком-нить, а штатная работа парсера правил - первый найденный. Могут в любой момент забыть, и приехали, гадаем чего сайт из индекса ушел весь .

Вообще такие конструкции на сайте лучше не делать - либо у тебя папка к запрету, либо к разрешению, а мешать контент в одной папке - это моветон.

[Rus]

Не добавляю robots.txt вообще. Так ли он важен для продвижения сайта?

[XPraptor]

Rus, нет, не важен.

[CrazyBug]

Сообщение от XPraptor

А в любой момент программеры могут забыть об этом в апе каком-нить

хоть один подобный пример был?

а вот просто косяки на стороне сервера - это постоянно, особенно когда начинают включать кеширование и сжатие появляются дефолтные служебные файлы, типа роботса, карты сайта...

Сообщение от XPraptor

Вообще такие конструкции на сайте лучше не делать - либо у тебя папка к запрету, либо к разрешению, а мешать контент в одной папке - это моветон.

это как раз вполне рабочие конструкции, особенно для больших сайтов
или вот вам простой пример
Disallow: /search/
Allow: /search/*tovar=

[XPraptor]

Сообщение от CrazyBug

хоть один подобный пример был?

Я же говорю - в mod_rewrite через раз забывали.
Ничто не помешает молокососам из гугла забыть тоже.

Сообщение от CrazyBug

Disallow: /search/
Allow: /search/*tovar=

Спрашивается, нах..а?
Чем tovar в поиске, так уж нужнее к индексации, чем всё остальное в поиске (за что кстати и пессимайз получить можно, если не закрыть слова search к индексу)