Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Коммерческие объявления > Биржа услуг

Биржа услуг Предложение и поиск услуг

Ответ
 
Опции темы
Старый 17.09.2020, 17:28   #1
юни
­
Доцент
 
Аватар для юни
 
Регистрация: 23.06.2020
Сообщений: 498
Сказал(а) спасибо: 77
Получил(а) "Спасибо": 1,986
Нарушения: 1/0 (0)
Репутация: 498178

Thread Starter Нужен скрипт сбора информации

По мотивам этой темы.

Нужен скрипт, который собирает необходимые данные на разных порталах. Делаем запрос (ОГРН или ИНН), он идёт в поля ввода на сайтах, там получаем страницу с данными, нужные данные агрегируем у себя.

Сайты для парсинга (список может дополниться):

sbis.ru
synapsenet.ru
zachestnyibiznes.ru
list-org.com
spark-interfax.ru
focus.kontur.ru

Кто возьмётся? Сколько стоит?
1. Прокси-сервис на базе операторов домашнего интернета. Сотни тысяч IP-адресов, канал от 20 Мбит.
2. Безлимитный мобильный интернет за 249 р/мес. МТС/Билайн, без ограничений по всей РФ.
Пишите в личку или на [email protected]
юни вне форума   Ответить с цитированием
Старый 17.09.2020, 22:55   #2
lupus_bellus
20.01.2007
Доцент
 
Аватар для lupus_bellus
 
Регистрация: 28.06.2020
Адрес: Верхнее Гадюкино
Сообщений: 258
Сказал(а) спасибо: 333
Получил(а) "Спасибо": 438
Нарушения: 0/0 (0)
Репутация: 26666

По умолчанию Re: Нужен скрипт сбора информации

Зенка возьмётся. Шаблон не пробовал.
lupus_bellus вне форума   Ответить с цитированием
Старый 18.09.2020, 01:46   #3
юни
­
Доцент
 
Аватар для юни
 
Регистрация: 23.06.2020
Сообщений: 498
Сказал(а) спасибо: 77
Получил(а) "Спасибо": 1,986
Нарушения: 1/0 (0)
Репутация: 498178

Thread Starter Re: Нужен скрипт сбора информации

Спасибо, глянул. Там вроде только один ресурс парсится. Да и не хочется зенку, надо бы специализированный и компактный самопис.
юни вне форума   Ответить с цитированием
Старый 18.09.2020, 11:26   #4
burunduk
попробуй отними
Профессор
 
Аватар для burunduk
 
Регистрация: 14.07.2020
Сообщений: 882
Сказал(а) спасибо: 1,021
Получил(а) "Спасибо": 2,086
Нарушения: 0/0 (0)
Репутация: 660509

По умолчанию Re: Нужен скрипт сбора информации

Цитата:
Сообщение от юни Посмотреть сообщение
Да и не хочется зенку, надо бы специализированный и компактный самопис.
в excel на vba напиши макрос и парси сколько влезет что угодно

вот сам парсер

PHP код:
Function GetHTTPResponse(ByVal sUrl As String) As String
'get запрос
    On Error Resume Next
    Dim oXMLHTTP As Variant
    Set oXMLHTTP = CreateObject("MSXML2.XMLHTTP")
    With oXMLHTTP
        .Open "GET", sUrl, False
         '
.SetRequestHeader "Accept""application/xml"
        
.Send
        GetHTTPResponse 
= .ResponseText
    End With
    Set oXMLHTTP 
Nothing
End 
Function 
вот сохранение если нужно во внешнем файле
PHP код:
Function SaveTextToFile(ByVal txt$, ByVal filename$, Optional ByVal encoding$ = "windows-1251") As Boolean
    
' ôóíêöèÿ ñîõðàíÿåò òåêñò txt â êîäèðîâêå Charset$ â ôàéë filename$
    ' 
ïðèìåð âûçîâà SaveTextToFile äàííûåèìÿôàéëà"utf-8noBOM"
    
On Error Resume NextErr.Clear
    Dim FSO
    Dim ts
    Dim binaryStream
    Select 
Case encoding$
        Case 
"windows-1251""""ansi"
            
Set FSO CreateObject("scripting.filesystemobject")
            
Set ts FSO.CreateTextFile(filenameTrue)
            
ts.Write txtts.Close
            Set ts 
NothingSet FSO Nothing
        
Case "utf-16""utf-16LE"
            
Set FSO CreateObject("scripting.filesystemobject")
            
Set ts FSO.CreateTextFile(filenameTrueTrue)
            
ts.Write txtts.Close
            Set ts 
NothingSet FSO Nothing
        
Case "utf-8noBOM"
            
With CreateObject("ADODB.Stream")
                .
Type 2: .Charset "utf-8": .Open
                
.writetext txt$
                
Set binaryStream CreateObject("ADODB.Stream")
                
binaryStream.Type 1binaryStream.Mode 3binaryStream.Open
                
.Position 3: .CopyTo binaryStream        'Skip BOM bytes
                .flush: .Close
                binaryStream.savetofile filename$, 2
                binaryStream.Close
            End With
        Case Else
            With CreateObject("ADODB.Stream")
                .Type = 2: .Charset = encoding$: .Open
                .writetext txt$
                .savetofile filename$, 2        ' 
ñîõðàíÿåì ôàéë â çàäàííîé êîäèðîâêå
                
.Close
            End With
    End Select
    SaveTextToFile 
Err 0DoEvents
End 
Function 
burunduk вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.09.2020, 16:00   #5
юни
­
Доцент
 
Аватар для юни
 
Регистрация: 23.06.2020
Сообщений: 498
Сказал(а) спасибо: 77
Получил(а) "Спасибо": 1,986
Нарушения: 1/0 (0)
Репутация: 498178

Thread Starter Re: Нужен скрипт сбора информации

Ой... а он с сайтов тоже инфу берёт?
юни вне форума   Ответить с цитированием
Старый 18.09.2020, 17:21   #6
sony
долботатус
Доцент
 
Аватар для sony
 
Регистрация: 21.06.2020
Адрес: дно Марианского разлома
Сообщений: 382
Сказал(а) спасибо: 2,796
Получил(а) "Спасибо": 622
Нарушения: 0/0 (0)
Репутация: 65403
Отправить сообщение для sony с помощью Yahoo

По умолчанию Re: Нужен скрипт сбора информации

Цитата:
Сообщение от юни Посмотреть сообщение
Ой... а он с сайтов тоже инфу берёт?
юни, конечно.... VB полюбасу работает именно с http почти с момент рождения...

Админы до сих пор не прикрутили спойлер, поэтому так вставлю (не моё, копипаст)
PHP код:
Sub LoadInfo()
    
' On Error Resume Next
    Dim ra As Range: Set ra = Range(Range("b2"), Range("b" & Rows.Count).End(xlUp))
    If ra.Row = 1 Then MsgBox "На листе не найден список ИНН", vbCritical: Exit Sub
 
    Dim cell As Range, txt$, res$, result_cell As Range, v
 
    Const TIMEOUT& = 6: Static xmlhttp As Object
    If xmlhttp Is Nothing Then Set xmlhttp = CreateObject("WinHttp.WinHttpRequest.5.1")
 
    For Each cell In ra.Cells
        URL$ = "https://sbis.ru/contragents/" & Trim(cell)
 
        xmlhttp.Open "GET", URL$, True: DoEvents
        xmlhttp.Send: DoEvents
 
        If Not xmlhttp.WaitForResponse(TIMEOUT&) Then
            Debug.Print "timeout", URL
        Else
            txt$ = "": txt$ = xmlhttp.responsetext
            ' 
обработка ответа сервера
            
' функцию GetTags можно взять здесь: excelvba.ru/code/html
            res$ = "": res$ = GetTags(txt, "div", "class", "cCard__Content-Var", "config 1")
            res$ = Replace(res$, "%22", "'"): res$ = Replace(res$, """", "'")
 
            ' 
ищем в ответе нужные данные
            With cell
.EntireRow
                
.Cells(3) = Replace(GetValue(res$, "УставнойКапитал"), " """)
                .
Cells(4) = GetValue(res$, "Статус")
                .
Cells(5) = GetValue(res$, "ВыручкаСтатистика")
                .
Cells(6) = GetValue(res$, "ПрибыльСтатистика")
                .
Cells(7) = GetValue(res$, "Выручка")
                .
Cells(8) = GetValue(res$, "Прибыль")
                .
Cells(9) = GetValue(res$, "ЧисленностьСотрудников")
            
End With
        End 
If
    
Next cell
End Sub 
или вот (тоже копипаста)
PHP код:
Sub test()
    
URL "https://www.finam.ru/profile/mosbirzha-fyuchersy/1mfr-1-20-mff0_mff0/export/"
    
txt GetHTTPResponse(URL)
 
    
txt Split(txt"Finam.IssuerProfile.Main.issue")(1)
    
txt Split(txt"""quote"":")(1)
    
txt Split(txt"""id"": ")(1)
    
txt Split(txt",")(0)
 
    
MsgBox txt ' или Range("a5") = txt
End Sub 
sony вне форума   Ответить с цитированием
Старый 19.09.2020, 00:56   #7
burunduk
попробуй отними
Профессор
 
Аватар для burunduk
 
Регистрация: 14.07.2020
Сообщений: 882
Сказал(а) спасибо: 1,021
Получил(а) "Спасибо": 2,086
Нарушения: 0/0 (0)
Репутация: 660509

По умолчанию Re: Нужен скрипт сбора информации

Цитата:
Сообщение от юни Посмотреть сообщение
Ой... а он с сайтов тоже инфу берёт?
откуда угодно, можно даже по апи получать если оно есть

у меня папки с различным парсингом (с тем что схоронилось) уже больше 200Г+
всё с помощью vba выкачивал
burunduk вне форума   Ответить с цитированием
Сказали спасибо:
Старый 19.09.2020, 03:08   #8
охg
2021 - год успехов?
Доцент
 
Аватар для охg
 
Регистрация: 22.06.2020
Сообщений: 267
Сказал(а) спасибо: 1,040
Получил(а) "Спасибо": 615
Нарушения: 0/0 (0)
Репутация: 274509
Отправить сообщение для охg с помощью ICQ

По умолчанию Re: Нужен скрипт сбора информации

в excel на vba
расшифруйте чуть, я не прогер
Купить прокси IPv6 /32 сеть, каждый IP в отдельной /48 сети. Промо-код (скидка в 15%) для форумчан : mobile
Купить прокси IPv4 более 200 подсетей А,B,C Промо-код (скидка в 15%) для форумчан : 9829FAD77E144D2E
охg вне форума   Ответить с цитированием
Старый 19.09.2020, 04:16   #9
burunduk
попробуй отними
Профессор
 
Аватар для burunduk
 
Регистрация: 14.07.2020
Сообщений: 882
Сказал(а) спасибо: 1,021
Получил(а) "Спасибо": 2,086
Нарушения: 0/0 (0)
Репутация: 660509

По умолчанию Re: Нужен скрипт сбора информации

охg, vba (Visual Basic for Applications) - штатный язык программирования в офисе

excel - просто одна из наиболее удобных платформ пакета офиса, для реализации подобных задач (в принципе тоже самое можно делать в абсолютно любом приложении офиса, хоть в повер поинте), индивидуальных задач связанных с получением и обработкой данных
я приводит тут пример получения и обработки данных по апи от яндекс вебмастера именно в excel
burunduk вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Старый 19.09.2020, 05:28   #10
охg
2021 - год успехов?
Доцент
 
Аватар для охg
 
Регистрация: 22.06.2020
Сообщений: 267
Сказал(а) спасибо: 1,040
Получил(а) "Спасибо": 615
Нарушения: 0/0 (0)
Репутация: 274509
Отправить сообщение для охg с помощью ICQ

По умолчанию Re: Нужен скрипт сбора информации

я понял... примерно.) вы имете ввиду что на данный момент можно использовать ексел онлайн) блин но я уже использую в продаже мля..
целой кампании помог)
Спасиб за ответ)..
Юни извин за офтоп)..

Последний раз редактировалось охg; 19.09.2020 в 05:42.
охg вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Скрипт комментариев CommentIt 5 Ajax на любой сайт одной строкой! leonidukg Продажа товаров 20 01.10.2021 21:08
Нужен человек на телефоне юни Биржа услуг 6 18.08.2020 16:05
Купил скрипт пушей, переходы в метрике считаются как переходы с ПС ziliboba0213 Разносортица 8 21.07.2020 16:29
нужен ли чат народу? Artisan О форуме 11 27.06.2020 23:39


Текущее время: 20:04. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot