Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Технические вопросы > Веб-строительство

Ответ
 
Опции темы
Старый 05.10.2020, 09:27   #1
vga1
Member
Аспирант
 
Аватар для vga1
 
Регистрация: 08.07.2020
Адрес: Санкт-Петербург
Сообщений: 73
Сказал(а) спасибо: 111
Получил(а) "Спасибо": 100
Нарушения: 0/0 (0)
Репутация: 2162

Thread Starter Парсинг сайта из Linux на perl

Посоветуйте, как можно спарсить сайт из linux на perl.
Но парсинг трудный для perl-а.
Для перехода на следующую страницу надо программно нажать кнопку. При клике отрабатывает событие Click, через JavaScript генерится закодированный SID, сохраняемый в cookie. Переход идет на ту же страницу, параменты поиска и текущая страница поиска через cookie тащится.

Или бесплатную или недорогую программу (или расщирение) под windows посоветуйте, в которой можно запрограммировать щелчек по кнопке и скачивание страниц в файлы. Задача разовая, $100 за софт не готов платить.
vga1 вне форума   Ответить с цитированием
Старый 05.10.2020, 09:31   #2
vastmanager
ОПТимизирую оптом.
Академик
 
Аватар для vastmanager
 
Регистрация: 26.06.2020
Сообщений: 1,162
Сказал(а) спасибо: 1,372
Получил(а) "Спасибо": 3,054
Нарушения: 0/0 (0)
Репутация: 698723

По умолчанию Re: Парсинг сайта из Linux на perl

Цитата:
Сообщение от vga1 Посмотреть сообщение
Посоветуйте, как можно спарсить сайт из linux на perl.
Но парсинг трудный для perl-а.
Для перехода на следующую страницу надо программно нажать кнопку. При клике отрабатывает событие Click, через JavaScript генерится закодированный SID, сохраняемый в cookie. Переход идет на ту же страницу, параменты поиска и текущая страница поиска через cookie тащится.

Или бесплатную или недорогую программу (или расщирение) под windows посоветуйте, в которой можно запрограммировать щелчек по кнопке и скачивание страниц в файлы.
Скинь в личку URL - попробую спарсить.
vastmanager на форуме   Ответить с цитированием
Сказали спасибо:
Старый 05.10.2020, 10:04   #3
vga1
Member
Аспирант
 
Аватар для vga1
 
Регистрация: 08.07.2020
Адрес: Санкт-Петербург
Сообщений: 73
Сказал(а) спасибо: 111
Получил(а) "Спасибо": 100
Нарушения: 0/0 (0)
Репутация: 2162

Thread Starter Re: Парсинг сайта из Linux на perl

Цитата:
Сообщение от vastmanager Посмотреть сообщение
Скинь в личку URL - попробую спарсить.
Скину url, но я не правильно выразился, я сам хочу парсить, надо скрипт написать. Идея нужна, как это парсить.
vga1 вне форума   Ответить с цитированием
Старый 06.10.2020, 14:03   #4
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Парсинг сайта из Linux на perl

Perl – это к *******у, он спец по перлу, даже поисковик на нём напрограммировал.
А что так именно перл впёрся? PHP на сервере нет?
Sitealert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 06.10.2020, 21:38   #5
vga1
Member
Аспирант
 
Аватар для vga1
 
Регистрация: 08.07.2020
Адрес: Санкт-Петербург
Сообщений: 73
Сказал(а) спасибо: 111
Получил(а) "Спасибо": 100
Нарушения: 0/0 (0)
Репутация: 2162

Thread Starter Re: Парсинг сайта из Linux на perl

Цитата:
Сообщение от Sitealert Посмотреть сообщение
Perl – это к *******у, он спец по перлу, даже поисковик на нём напрограммировал.
А что так именно перл впёрся? PHP на сервере нет?
Ну я пишу на перле, поэтому привычней. Можно и PHP, если пример кто-нибудь подгонит.

ЗЫ: Нашел приятный аддон webscraper.io для файерфокса под винду, скрипт наваял, но как назло он вылетает по ошибке именно на операции перехода по ссылкам пагинации. Баг наверно, разработчики пока молчат.
vga1 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Системный администратор Linux. Настройка, оптимизация и сопровождение серверов Evas Биржа услуг 26 13.12.2022 08:37
SerfStack.com - аренда VPS/VDS сервера от 260 руб. Windows/Linux Server. Dmt Izmailov Хостинг и домены 6 19.01.2021 16:47
Есть вопрос. Парсинг базы товаров конкурента. E-comm. zinovev.seo Продвижение и оптимизация сайтов 9 25.08.2020 10:35
Поиск для сайта medexpert Веб-строительство 11 03.08.2020 02:24


Текущее время: 13:41. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot