Нужен скрипт сбора информации

[XPraptor]

Юни, дуй на фриланс, закажи универсальный скрипт парсинга, не дури.
Я себе давно написал такое чтобы быстро тестить что-то.

При заказе опиши суть ТЗ:
Код парсинга и сохранения данных идет отдельно и никогда не меняется.
Каждый ресурс, который тебе потребуется парсить, представлен отдельным текстовым файлом, в котором лежат строки регулярных выражений, размещенные по определенным правилам.
Строка без префиксов, например, парсит заголовки, с префиксом, например "--" парсит текст, "---" картинки и т.д.. Вложенный парсинг в одном запросе (если требуется такое на сложном ресурсе), оформляется после строки основного запроса, например через символы ||| и также с префиксами показывает, что именно он парсит этим подзапросом.

В итоге, тебе не нужно будет менять код, просто либо сам будешь регулярки в эти файлы добавлять, либо просить, чтобы тебе составили регулярки, а ты их добавишь (что менее проблематично,чем писать под каждый ресурс что-то в самом коде) и всё.

[vastmanager]

Сообщение от XPraptor

Юни, дуй на фриланс, закажи универсальный скрипт парсинга, не дури.

Ничего заказывать не нужно. Все уже написано.
Был такой парсер - serpcombine.
Лет 5 назад его перестали поддерживать, издох он короче.
Но жив вроде на этом-же движке парсер Datacol - более навороченный даже,
года два назад им собирал данные с каталога 2гис.
Как его настраивать уже не помню, но почт он море насобирал тогда с 2гис.
Настраивается под разные данные.

А по serpcombine вот так выглядит файл с собранными данными.
Фирмы по парфюмерии:
http://screenshot.ru/e0a057ff0db8ce7982d7e2addc11a20d

Плюс почты, скайпы и тлф. в отдельные файлы писал.

[burunduk]

Сообщение от vastmanager

Но жив вроде на этом-же движке парсер Datacol - более навороченный даже,

кривой он, данные обрезает
т.е. маленькие фрагменты можно парсить и то настраивать замучаешься (проще самому написать)
да и краулер там поганый